魅族数据库平台建设实践

《魅族数据库平台建设实践》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、魅族数据库平台建设实践龙启东传统DB架构面临的问题DB平台设计目标DB平台架构DB平台主要模块平台规模和后续发展传统DB架构面临的问题•读地址、写地址配置复杂•业务做读写分离•DB连接>业务单机连接数*机器数量连接池问题•连接数不可控，toomanyconnections异常•Slave延时，必须在LVS上踢掉slave复制延时问题•操作延时、繁琐•数据双写问题跨机房切换问题•业务更改配置重启，参与人员较多•业务不透明•某几条SQL即可将DB资源耗尽过载保护•连接数打满•整个实例不可用•大范围影响业务•不带条件的deleteSQL过滤和

2、拦截•不带条件的update•…•CPU资源利用率低•IOPS•磁盘空间面临的问题资源利用率低规模增大服务质量支撑能力不高下降费人力费金钱传统DB架构面临的问题DB平台设计目标DB平台架构DB平台主要模块平台规模和后续发展DB平台设计目标提高资源利用率，降低数据库成本提高数据库提高数据库服务支撑能服务质量力平台目标平台目标细化•易用性–配置简单，每个机房一个地址–快速权限管理，SQL查询等–DBA运维简化，运维操作流程化、自动化•安全性–proxy接入，业务不再直连DB–proxy连接数控制，不再受max_connections限制–高

3、危SQL过滤–突发增长控制，避免DB雪崩，有效保护DB•可靠性–数据高可用保障–数据自动备份，支持30天内数据恢复–proxy自动检测slave延时，自动剔除和添加•可用性–主备架构–自动部署高可用、监控–支持自动、手动快速故障切换–资源隔离•可扩展性–弹性扩容、缩容、迁移–自动读写分离，在线增减slave–快速部署跨机房slave•成本节约–以实例为单位，严格按照业务需求分配资源–读slave只需一个实例即可–快速的缩容和扩容，最大程度的控制DB资源成本–成本最大缩减到目前的1/64–根据cpu，IO，mem，磁盘进行计算传统DB架构

4、面临的问题DB平台设计目标DB平台架构DB平台主要模块平台规模和后续发展DB平台整体架构MySQL协议标准C的API,JDBC,ODBC,.NET,PHP,Python,Perl高可用接入主机管理proxy1proxy2proxy3…proxN全局ZK实例管理proxy管理WEB控制台集群管理权限控制权限控制SQL解析业务连接池管理监控平台查询、事务高可用管理黑白名单DB连接池管理CMDB转发、拦截访问频率控制高可用切换发布管理审计、统计MFS备份恢复资源控制MySQL实例不同规格、不同性能…不同CPU、IO、MEMORY文件系统PCI

5、E卡SSD磁盘SAS磁盘Proxy主要功能兼容mysql协议连接数控制高危SQL拦截自动切换自动读写分离SQL审计访问频率控制、访问权限控制访问延时统计分析Proxy访问masterproxyW业W务RslaveproxyR•vip方式访问•zookeeper名字服务方式访问Proxy部署Proxy部署Proxy性能Proxy测试每实例一个进程对应一个CPU负载为后端DB的10%功能测试管理端口、一个访问端口内存最大<512M性能压测每实例对应一个MySQL主从tcpcopy线上流量测试性能损耗5%-8%每VM运行多个进程延时增加<10

6、0us多个VM为一组DB接入VIP方式或者zk方式访问Proxy接口DB存储(资源池)SAS、SSD、PCIE按需选择内存、CPU按需分配每服务器运行多MySQL实例服务器按不同机柜、交换机部署MySQL实例对业务透明只授权proxy访问备份恢复备份调度任务管理全量备份、增量备份备份校验创建slave、迁移、扩容、缩容回档(整实例、某库、某表)、导入导出备份副本管理恢复任务管理DB性能分析慢日志监控、分析、推送、跟踪容量监控、评估实例访问监控、资源消耗监控、评估主机性能监控、评估DB健康状态综合报告传统DB架构面临的问题DB平台设计目标

7、DB平台架构DB平台主要模块平台规模和后续发展主从切换APPzookeeperproxyproxyMaster:ASlave:CMaster:BSlave:Cmaster:AStandby:Bslave:CMHA切换场景故障自动切换手动切换迁移扩容缩容创建集群流程创建主从添加监控添加备份•业务•proxy选择•节点选择•机型•关系映射•安装agent•机架选择•MySQL监控•版本•生成配置•实例选择•proxy监控•启动进程•主从建立申请接入proxy创建高可用扩容、缩容、迁移按需创建一从最新备份套指定规格追binlog数据校验权限校

8、验导入数据空闲集群高可用变Proxy变更完成备份变更校验更映射关系1.整个过程业务无需更改任何配置，影响时间10s左右2.业务最大可扩展到128T3.业务最小只使用整机的1/644.存储节点的性能差异对业务