异地备份方案-Q复制

《异地备份方案-Q复制》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、一、核心数据库异地备份方案1.目标1）提供高可靠的复制机制，构建稳健安全的数据灾备。2）对生产运行基本没有影响。3）灾备数据库随时提供只读访问。2.架构图如下生产区社保数据中心采用一台IBMSystemZ(ELSZ114)服务器和运行zLinux操作系统提供高性能与高扩展性的数据库服务器。在异地灾备中心使用一台高端的PC服务器运行Linux和DB2作为异地的灾备服务器。数据的同步采用先进的QReplication解决方案：采用高效率的基于日志捕获技术及异步传输的机制，同时对生产系统的正常运作基本没有负面影响。3.Q复制技术介绍Q复制技术是IBM的基于队列的新复制架构，是一种高吞吐量、低延迟的数

2、据同步方法。它使用WebSphereMQ的消息队列在源数据库与目标数据库之间，或者在源子系统与目标子系统之间传递事务。通过捕获并同步数据变化的增量信息，Q复制技术使得数据源与数据目标之间的数据内容保持一致。Q复制技术的体系结构如下图所示。QCapture程序通过读取DB2的日志直接获取所指定的复制源表的增量数据；继而，QCapture程序将事务作为消息，通过MQ消息队列发送；最后，QApply程序从队列中读取这些消息，并将其应用于目标表。Q复制设计用于支持业务连续性、数据备份、工作负载分发和应用程序集成场景。Q复制具有以下几个优点：u低延迟：一旦提交了对源表进行的修改，并从日志中读取到这些修改

3、，这些变化就立即发送出去。u对数据源影响小。详见下面的Q复制技术特性部分。u高吞吐量：QCapture程序始终可以跟踪在源表发生的快速变化，并且QApply程序使用多线程，使得它能够及时跟踪通信通道中的消息。u低网络流量：消息使用一种压缩格式在队列中传送，而且在发送数据的选项中允许选择传送最少量的数据。u异步性：消息队列使得QApply程序可以不连接源数据库或者源子系统就可以接收事务。如果QCapture程序或者QApply程序停止，在程序可用后，需要进行处理的消息仍然存在于队列中。由于消息是永久的，所以数据源和目标即使在系统或设备故障的情况下仍可以保持同步。Q复制技术是数据库表级的数据同步技

4、术，可以灵活的指定需要同步的数据内容。比如，可指定某些表作为复制来源，指定一个或多个表作为每一张数据源表的复制目标；可配置复制源与复制目标间的数据映射关系，如选取数据源表中的某些列，或者用SQL语言的where子句进行过滤选取数据源表中符合where子句条件的某些行；可过滤数据源表上的Delete操作而只获取Insert和Update操作产生的数据增量。Q复制技术可以支持各种灵活的数据同步配置拓扑结构。可以在远程服务器之间或者仅在一个单一的服务器上进行复制。可以选择进行单向复制，或者选择多向复制。其中，多向复制可以是双向的（对于管理备份系统十分有用），或者是对等复制（对于交易系统上的数据同步很

5、有帮助）。Q复制技术的关键特性：uQ复制对数据源的影响Q复制通过读取DB2的恢复日志来获取源数据库上的增量数据，不需要访问数据库上的业务表，不存在任何SQL操作来争用数据库资源。并且，在运行阶段，Q复制会首先直接从内存中DB2的LogBuffer里读数，并放到发送队列中；如果DB2已经将部分日志写入日志文件，则Q复制才从日志文件中读数。因此，Q复制不会对源数据库产生直接影响。另外，在适当调优后，比如适当增大分配给DB2Log和Q复制程序的系统内存，或者分配给DB2日志文件和MQ数据及日志文件I/O较高的存储，可以将Q复制对源数据库所在的系统的影响将到最低。uQ复制在数据完整性上的考虑数据同步必

6、须保证在复制目标上数据的完整性和业务逻辑。Q复制技术在同步增量数据时，会同时考虑在单张表或者多个有关联关系的表上执行的SQL操作顺序，当增量数据在复制目标上执行相应操作时，Q复制将按照在数据源上的顺序执行，若数据源上产生的增量数据之间具有相关性或者事务性，则这些业务逻辑将得到保护。相比之下，一般应用程序开发，很难实现照顾到所有的数据关联关系，在数据完整性上存在隐患。uQ复制性能提升因素与开发应用程序或者采用其他数据同步方式相比，通过减少在交易数据库上的操作、减少交易数据库服务器上的CPU使用、以及提高数据写入的并行度，Q复制具有减少同步时间延迟和提高数据吞吐量的显著技术优势。u减少在交易数据库

7、上的操作Q复制技术从内存中DB2的LogBuffer或者日志文件中获取增量数据，并直接放到MQ的发送队列中。与开发应用程序实现数据同步相比，Q复制技术获取数据增量的时间延迟最少，且不需要执行select等SQL操作，可以避免对交易数据库上业务的影响，同时避免对数据库内存及CPU资源的争用。并且，通过将MQ消息数据与日志配置在和数据库不同的存储上，可以减少对I/O资源的争用。u减少交易数据库服务器上