差异数据源系统数据同步和整合方案探讨.pdf

《差异数据源系统数据同步和整合方案探讨.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、领域思辨Xi／＼N!~AI射盎◇《l娃j现代教育技术差异数据源系统数据同步和整合方案探讨◆内蒙古化工职业学院杨晓亮摘要：差异数据捕获是数据库同步的重要环节，对后续的系统数据处理起着决定性的作用。在进行差异数据捕获时，首要任务是取得复制对象的变化序列或当前映像，在此过程中要求提供尽可能详细的控制信息，选择合适的差异数据捕获方法可以有效地提高差异数据捕获的迁移效率。本文对当前比较常用的不同数据源之间数据同步的几种实现方式及优缺点进行了分析和探讨。关键词：数据源同步变化【中图分类号】G【文献标志码】B【文章编号】1008—1216(2015)03C一0080—01随着分布式数据设计在系统应用中的普及

2、，越来越多的理工作的负担，加大了业务系统的运行强度。企业、教育机构、政府部门选择建立自己的数据库完成日常四、控制表法数据的存储。建立并使用数据库的关键在于解决数据同步问原理：为每个要同步的源表创建一个控制表，控制表只题。数据同步是指当某个数据源的数据发生变化时，与之相包含源表的主键字段和一些控制信息字段(更新时间、更新关的数据源的数据也会变化，可以简单地理解为通过数据同类型等)，当源表中的某条记录发生变化时，同时添加或修步要让各部门未来的变化信息及时传递到数据中心，从而保改控制表相应主键记录。证数据库信息的完整。差异数据捕获作为数据库同步的基础优点：及时获得同步对象的净变化，运行和数据传输的环

3、节，对数据迁移效率起着关键作用。当前国内出现了很多效率较高，占用系统存储空间较小，管理方便；应用过程中差异数据的捕获方法，由于不同差异数据捕获方法适用范围会自动保存更新时间、操作者等控制信息，避免了同步冲突和捕获效率在不同的系统环境中差异较大，对不同差异数据问题。捕获方法的特点进行研究，对提高差异数据系统同步和整合缺点：控制表法要依靠触发器才能完成，适用范围受到效率有着重要的理论和实践意义。本文对当前几种比较常用一定程度的限制。的差异数据捕获方法进行了分析和比较。五、API法一、触发器法原理：在应用程序和数据库之间引入一类中间件，由它原理：在为复制对象创建触发器过程中，当对复制对象提供一系列A

4、PI，在API上完成应用程序对数据库修改的同发出进行修改、插入和删除等DML命令时，触发器被唤醒，时，记录同步对象的变化序列。将变化捕获。优点：具备日志法的大部分优点，如基本不会对业务系优点：能做到实时同步，数据迁移效率较高；可以与其统的性能产生影响、操作过程对应用系统的占用率较低。他机制联合用于同步复制和对等式复制等。缺点：不能捕获不经过API操作引起的数据变化；应用缺点：占用的系统资源比较多，降低了原有应用系统的程序的可移植性差。运行效率；在复杂的系统环境里对配置要求较高，该捕获方六、影子表法法实施难度偏大。当数据库系统中存在多触发器机制时，该原理：初始化数据库时，为每一个同步对象表建立一

5、个方法可以在保证效率的前提下完成作业。影子表，即作为一份当时的拷贝，以后通过比较当前的影子二、时间戳法表与源表获取变化信息。原理：在要同步的源表里有时间戳字段，每当数据发生优点：适用范围广，移植性强，很适合解决异构数据库变化，时间戳会自动记录发生变化的时间。同步。优点：基本不会对业务系统的性能产生影响，有效地保缺点：占用空间大，不能获得中间操作信息和控制信息；证了原有应用系统的运行效率。每次捕获变化都要扫描源表和影子表，效率较低。缺点：要对原有系统进行大幅度的调整(源表中要求有通过上文的分析可以看出，不同差异数据捕获方法有其时间戳、删除数据时要对系统进行特殊处理)。在实际应用中根据系统及采用同

6、步方案的特点。选择合适的三、日志法捕获方法可以有效地提高数据捕获的迁移效率，而且将对原原理：通过对源数据库日志的分析，得到源数据库中的有业务系统运行的负面影响降到最低。本文分析的是最基础变化的数据。的几种数据捕获方法，现实应用中很多方法都是在此基础上优点：基本不会对业务系统的性能产生影响；大多数数优化或组合而来的，如触发器与API相结合、触发器与控制据库有日志，取源方便；操作过程中对应用系统的占用率较表结合。低。参考文献：缺点：由于部分数据库系统的日志格式是隐藏的，要建【11徐富亮，周祖德．变化数据捕获技术研究uI_武汉理立一个基于日志的变化捕获程序难度较大；不同数据库在具工大学学报(信息与管

7、理工程版)，2009，(5)．体细节上一般会存在较大的差异，日志法获得的异构数据库【2]郑祥云，张娟，葛文庚．数据库同步中差异数据捕获就可能产生很多新问题；日志法会加剧DBA日常数据库管方案设计与实现叫．电脑知识与技术，2009，(7)．80蒙省矗看．职教版03／2015