基于mysql主从同步的异构复制系统

《基于mysql主从同步的异构复制系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华中科技大学硕士学位论文1绪论1.1研究背景与意义随着互联网的不断发展和计算机技术的不断普及，各种互联网应用已经逐渐被广大用户所使用，走进了千家万户。互联网应用正在改变着人们的生活，为人们提供越来越多生活的便利和价值，改善着人们的生活方式。然而，随着Internet的迅猛发展，用户对网络应用的需求越来越多，对应用的性能要求同样在不断提升。特别对于电子商务和网络新闻等网络应用往往希望得到最新的数据，最新的数据可以为企业带来异乎寻常的价值。所有这些应用对于即时信息需求的不断增长都推动着数据库的发展。在网络

2、应用中，管理数据的工具主要是数据库。为了满足企业对更新数据实时性的需求，为用户提供尽可能实时的数据，必须从数据库着手，分析数据更新延迟的原因，并结合当前的研究现状，寻找一种可以缩短更新延迟的解决方案。现在比较流行的关系型数据库管理系统主要有SQLServer、MySQL、Oracle、DB2、MicrosoftAccess等。在这些数据库中，MySQL因其体积小、速度快、总体拥有成本低等优秀的特征成为众多企业的首选；另外，MySQL作为开放源码的[1]软件，可以大大降低总体拥有成本；现今Interne

3、t流行的网站架构方式LAMP（Linux+Apache+MySQL+PHP）和LNMP（Linux+Nginx+MySQL+PHP），也都是使用[2,3,4]MySQL作为它们的数据管理的核心；同时，MySQL提供多种存储引擎，包括[5]InnoDB、MyISAM、BDB、Memory、Merge、Archive、Federated、Cluster/NDB、[6]CSV、BlackHole、EXAMPLE等；用户可以根据自身的应用需求选择合适的存储引擎。MySQL的这些优点使MySQL成为现今广大互联

4、网企业的首选数据库产品。这些企业包括Google、Facebook、twitter等。然而，随着科学技术的发展，Web2.0时代的到来，各种互联网企业异军突起，发展迅速；MySQL作为一款广受互联网企业欢迎的数据库，随着互联网的飞速发展，其自身的一些缺点也逐渐突显出来，特别是MySQL的主从同步延迟问题，是一个存在已久的问题。主从同步延迟产生的原因很多，主要包括网络延迟、主从负载、硬盘IO性能1万方数据华中科技大学硕士学位论文瓶颈、低效率join操作导致的长时间执行、数据锁以及主节点的并发执行及从节点

5、的单线程执行等。当MySQL主从同步大量数据时，互联网带宽、网络通信介质等都可能成为制约数据同步复制速度的因素，导致数据同步的网络延迟；另外，数据在网络间传输时，有时需要跨IDC进行通信，这时，网络传输延迟就是一个不容忽视的问题；而主节点和从节点的宿主服务器硬盘IO的性能好坏，对数据的存取也存在着一定的影响，如果IO性能不好，可能因为服务器IO不能及时的传输数据，造成数据阻塞，不能及时的接受和发送；主节点的低效率的join操作在同步到从节点时，需要进行长时间的执行，会长时间占用数据锁。如果由于服务器I

6、O性能不佳或网络带宽延迟，数据不能及时到达从节点，从节点数据不能及时更新，用户就只能读到脏数据。然而，以上这些相对来说都是网络环境造成的原因。主节点和从节点在高负载情况下，往往会造成事务排队等待甚至造成主节点和从节点崩溃。主节点对所有的DDL和DML产生二进制日志文件记录，主节点将更新记录在二进制日志中的过程是顺序进行的，并且是并发执行的，因此写操作效率很高。从节点的IO线程到主库读取二进制日志，效率也比较高，基本可以保证与主节点更新步调一致。而从节点的SQL线程负责读取RelayLog日志文件，并将

7、在RelayLog日志文件中记录的SQL语句重新在从节点执行。这样，只有SQL线程这一个线程负责SQL语句的重做。当大量更新产生时，SQL线程由于更新数据过多，不能实时将更新在从节点重做。再加上从节点同时需要处理大量的应用读请求，也带来了Query的锁竞争和从节点压力的增大。这些原因都会造成主从同步延迟。[7,8,9,10]由于MySQL的复制机制采用异步复制，异步复制的主从节点的数据更新时间存在时间差，导致主从数据库间的数据不一致，从节点数据更新的实时性不高。MySQL主从同步主要是一个主节点和多个

8、从节点，只能有一个主节点，扩展节点只能作为从节点加入系统，写操作只能在主节点上进行，当有大量写操作发生时，主节点负载将会非常大，很容易因压力过大而崩溃。一旦主节点发生故障而不能正常工作，复制系统将可能会完全崩溃并带来丢失大量数据的严重后果，2万方数据华中科技大学硕士学位论文导致主从节点之间的更新延迟时间加剧。读操作读/写操作读操作数据同步数据同步从节点主节点从节点图1-1MySQL主从同步架构图在信息通信逐渐发达的今天，数据的更新速度直接关系着企业的生存