阿里云RDS+for+MySQL的若干优化

阿里云RDS+for+MySQL的若干优化

ID:38936907

大小:5.92 MB

页数:34页

时间:2019-06-21

阿里云RDS+for+MySQL的若干优化_第1页
阿里云RDS+for+MySQL的若干优化_第2页
阿里云RDS+for+MySQL的若干优化_第3页
阿里云RDS+for+MySQL的若干优化_第4页
阿里云RDS+for+MySQL的若干优化_第5页
资源描述:

《阿里云RDS+for+MySQL的若干优化》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、阿里云RDSforMySQL的若干优化阿里巴巴云计算彭立勋Topic•DoubleSyncReplication•InnoDBRedoReplication•Statement/TransactionTimeout•InnoDBAsynchronousOptimizationDoubleSyncReplication——对MySQL逻辑复制可靠性的改进阿里巴巴云计算彭立勋异步复制存在的缺陷•主库事务提交并不需要备库ACK•备库无法得知拖取的是否是最新的日志•宕机后无法利用备库本身的信息得知是否跟主库一致•所以,备库无法及时得知主库的状态原生Semi

2、-SyncReplication机制SemiSync存在的缺陷•主库事务提交需要备库ACK•网络超时后备库降级为异步复制•超时设太小,则经常发生超时•超时设太大,则经常导致主库hang•网络恢复后需要追赶日志,追赶期间备库状态依然不可知•因为无法得知宕机时备库是否跟主库是SemiSync状态•所以依然无法得知备库是否跟上主库•因此,SemiSync并没有解决异步复制的根本缺陷异步复制/SemiSync存在的问题我们要达成的目标•前提•主机保证可用性5个9•网络保证可用性5个9•宕机瞬时没有发生网络超时•目标•备库随时可以得知自己的状态(跟主库同步或

3、没有跟主库同步)•在确认跟主库不同步时,通知应用参与数据补偿,并且告知所缺数据范围•在确认跟主库同步时,可以保证备库执行到跟主库一致状态再提供服务•核心:避免备库状态不可知!攻破SemiSync的缺点•SemiSync一旦超时断开,即使网络恢复,依然需要补偿拖取断开期间的日志•如果SemiSync超时断开,网络恢复后不再补偿数据,只发最新日志,如何?•只要宕机时网络正常,备库始终会知道主库最新位点•依此可以判断备库是否跟主库日志有差异•备库如果只接收最新数据,那么中断期间的数据如何处理?•异步复制可以在不影响主库提交的情况下拖取日志•利用异步复制的

4、日志可以进行完整的日志回放结合两种复制•异步复制(Async_Channel)•拖取连续日志,保证备库接收的日志不中断•接收到日志后直接执行•半同步复制(Sync_Channel)•拖取最新日志,保证备库始终知道最新的日志位置•接收到日志后并不执行,只保留位置•一致性判断•比较异步复制和半同步复制的日志段,可以判断备库日志可否连续接上结合两种复制两个通道如何做到(1)•多源复制可以在一个Slave上创建多个独立通道分别进行复制•问题1:同一个ServerID发起两个通道到Master,Master会认为是原Slave断开没有主动发起close连接,

5、从而会踢掉先连上的通道•解决:可以将SemiSync通道伪装一个ServerID,避免被踢两个通道如何做到(2)•问题2:一个Slave同时有一个非SemiSync通道和一个SemiSync通道,而SemiSync设置是保存在全局的•解决:把SemiSync改为Per-Channel的设置,将SemiSyncSlave类转移到Master_info结构体中如何判断两个通道日志是否连续•利用两个通道收到的GTID序号作对比•利用两个通道收到日志的Log_file_name和Log_file_pos•如果半同步通道的日志起始点小于等于异步通道结束点,那

6、么备库其实有完整的日志,反之备库无法跟上主库如何判断两个通道日志是否连续CASE1:无需补偿•备库两通道数据结束点完全一致CASE2:无法补偿•备库两通道数据合集存在断点CASE3:可以补偿•备库两通道数据合集没有断点如何补偿数据•利用半同步通道收到的日志,在异步通道应用完日志后,启用半同步通道应用日志•利用GTID来过滤重复Event•提供REPAIRSLAVE命令来尝试补偿数据并返回备库状态,根据Result列的结果判断备库是否跟主库一致InnoDBRedoReplication——完全实现物理层的复制阿里巴巴云计算彭立勋复制架构MasterP

7、urgeReceiverSendPurgeInfoPurgeControllerPolar.cnfWorkerThreadRequestLogDumpLog_applyPolarIOThreadThreadthreadWorkerThreadSend……WorkerThreadIb_logfileIb_logfileIb_checkpoinIb_checkpoinPolarFilePolarFileSlavettShowPolarStatusOnMasterOnSlaveStatement/TransactionTimeout——避免语句/事务长时

8、间占用资源阿里巴巴云计算彭立勋无限制执行Query的危害•执行时间过长的SELECT可能导致占用大量CPU/IO资源,拖慢

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。