MySQL中间件的负载均衡策略优化方案

《MySQL中间件的负载均衡策略优化方案》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、MySQL中间件的负载均衡策略优化方案目录—、背景3二.负载均衡策略及性能优化4三.总结9—.背景随着业务的爆发式增长，电商系统中的读写压力越来越高，单节点MySQL实例压力越来越大，单纯升级服务器硬件已经无法满足生产环境的需要。解决读请求压力，需要支持从库扩展；解决写请求压力，对数据分片增加多个节点，降低单节点MySQL实例的压力成了更优的选择。传统的分片是通过DAO层进行的，但是DAO层对数据分片存在诸多问题。从业务角度看，配置修改需要重启服务，代价巨大；需要对分片结果集进行处理，业务逻辑愈加复杂；功能相对简单。从数据库运维角度看，配管理的统一化难度较大

2、；DB的升级、迁移等操作复杂。网易电商同样面临着这些问题，为了彻底解决数据库瓶颈，网易乐得团队在实际生产中硏发了自己的中间件Cetuso其具有正统基因，基于官方MySQL-Proxy的版本进行全面修复和再创新，已于不久前开源，在各个产品线上得到广泛应用，性能和稳定性均表现良好。Cetus兼容MySQL协议，前端应用不用修改即可通过Cetus访问数据库，方便DBA运维同学和开发同学使用，实现了数据库层面的横向扩展。目前Cetus有读写分离和Sharding两个版本,可通过编译参数选择适合的版本。它支持对用户透明的多项功能，例如分布式事务、连接池、结果集压缩、安

3、全管理、状态监控、TcpStream传输等等。二、负载均衡策略及性能优化本文所讨论的负载均衡，指的是读流量的负载均衡，即读流量如何分配到后端同一MySQL集群内的各个DB。Cetus的负载均衡策略，主要分为两部分:•主从库之间读流量的负载策略；从库之间读流量的负载策f具体实现时候，流量的分配单位与Atlas等中间件也略有不同，进行了性能优化。下面章节将依次详细介绍。1、主从库之间读流量的负载策略默认情况下，非事务中、未通过注释强制路由主库或未使用锁的读流量会优先路由到从库，各个从库之间负载均衡。只有当从库都不可用时，读流量才会路由到主库。有些业务场景下，主库

4、可以分担部分读流量，这时就涉及到读流量在主库和从库上配置负载策略了。Cetus中;可以通过配置参数read-master-percentage来指定默认的读流量路由到主库的百分比，该参数的取值范围是［0,100］。该值默认为0,即所有读流量会优先路由从库，所有从库均不可用时，才会路由主库；如果该参数设置为100时，则所有读流量都会路由到主库；如果该值设置为（0,100）时，则会按照设置的比例进行路由。需要注意的是，该值表示的是主库和所有从库的比例。2、从库之间的读流量负载策略路由到从库的流量会在各个从库之间进行负载均衡。目前Cetus各个从库之间的读流量负载

5、策略仅支持轮询（RR）方式。在流量分配方面，Cetus也进行了优化。一些MySQL数据库中间件（例如Atlas）是基于SQL的维度做负载均衡的，不会考虑SQL是同一个连接还是不同连接发送来的，中间件依次将接收到的SQL按照策略发往后端的数据库。在实际使用中发现，长连接的场景下，该策略会造成大量的连接切换，从而导致session级变量的频繁调整，影响SQL执行效率。因此，Cetus对其进行了优化，并非完全按照SQL的维度做负载均衡。Cetus考虑了同一个连接连续发送SQL请求的情况，不会立即将当前SQL使用完的Cetus与MySQL的连接放回连接池复用，而是持

6、有短暂（256毫秒）时间，以期后续仍有SQL执行，从而避免了session级变量的调整，大大增加了SQL执行的效率。长连接场景下，对优化前后的Cetus进行了简单测试。通过测试发现，通过优化后的Cetus针对长连场景下的读流量的吞吐量有了明显提升。下图是在docker环境下的简单测试对比：序号节点角色1docker:172.17.02cetus-release2docker:172.17.0.3mysql5.7-master3docker:172.17.0.4mysql5.7-slave4docker:172.17.0.5mysql5.7-slave5doc

7、ker:172.17.0.6sysbench1.1为了防止10过高;简单改造了sysbench发送的SQL，限制了返回的结果集大小。禁用事务和prepare的情况下，采用100个线程每次测试60s,连续测试5次，结果如下：序号优化前QPS优化后QPS1389124300.6123686.944983.4734166.355002.9443674.555219.5553371.535380.14AVG3758.1144977.342由于本机Docker性能较差，且sysbench模拟测试的语句较为简单，不涉及session变量的切换，因此对比效果不甚明显，本次

8、测试性能仅提升30%左右。长连接业务场景下z性能优化