数据大集中管理模式下数据同步技术探讨

《数据大集中管理模式下数据同步技术探讨》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、数据大集中管理模式下数据同步技术探讨摘要：：为确保在大集中数据管理模式下数据的安全，本文就目前流行的ORACLE数据同步技术DATAGUARD、STREAM、GOLDENGATE技术进行比较，分析其优劣，并结合业务需求，就如何建立同地和异地的数据同步机制进行探讨。关键词：关键字：数据库；ORACLE；数据同步；安全：TP393：A：1.现状及需求1.1现状从2008年开始，我市建立了重庆市主城范围内集中统一管理的城镇地籍数据库，实现了城镇土地登记系统和数据的大集中,中心数据库采用ORACLE数据库平台。按照我市土地和房屋合一登记的

2、管理模式的要求，从2010年开始，我市各房屋登记中心在全市集中的城镇地籍数据库的基础上，结合原有的房屋登记系统，以宗地为线索开展了房屋登记数据的清理工作，建立了全市集中统一的城镇地房籍数据库和应用系统。1.2需求由于我市实行的是大集中的数据管理模式，中心生产数据库在出现故障的情况下如不能得到及时恢复，将导致全市土地和房屋登记业务停顿，因此必须在中心机房建立与生产数据库实时同步的数据库，确保在生产数据库出现较长时间不能恢复的故障的情况下，启用备用数据库，保证业务的连续。同时，由于数据在市局统一存放，各单位无数据库。而各单位由于对数据

3、使用的需求千差万别，无法在市局统一的数据库上满足其个性化的需求。因此需将市局集中的数据同步到各区，既可实现数据的异地备份，同时各区可利用改回备数据进行各类统计分析和专题利用。2.技术比较目前基于Oracle数据库的数据同步技术大体上可分为两类：Oracle自带的数据同步技术和第三方厂商提供的数据同步技术。Oracle自带的同步技术主要有DataGuard，Streams，GoldenGate三种技术。第三方厂商的数据同步技术有Quest公司的SharePlex和DSG的RealSync。本文重点就ORACLE本身提供的DataGu

4、ard，Streams，GoldenGate三种同步技术进行比较。2.1DataGuard技术DataGuard是Oracle数据库自带的数据同步功能，基本原理是将日志文件从原数据库传输到目标数据库，然后在目标数据库上应用（Apply）这些日志文件，从而使目标数据库与源数据库保持同步。DataGuard为源数据库提供了两种日志传输方式，ARCH传输方式和LGaximumPerformanceMode）、最大保护（MaximumProtectionMode）和最大可用（MaximumAvailabilityMode）。根据目标数据库

5、对日志应用方式（LogApply）的不同，该技术可分为PhysicalStandby（RedoApply）和LogicalStandby（SQLApply）两种方式。物理同步是指目标库通过介质恢复的方式保持与源数据库同步。逻辑同步是指目标数据库通过LogMiner挖掘从源数据库传输过来的日志，构造成SQL语句，然后在目标库上执行这些SQL，使之与源数据库保持同步。2.2Streams技术Streams技术是指利用挖掘日志文件生成变更的逻辑记录，然后将这些变更应用到目标数据库上，从而实现数据库之间或一个数据库内部的数据同步。其实现步

6、骤为利用Capture进程分析日志，生成逻辑记录（LCR），将其放入一个队列。Propagation进程将生成的逻辑记录发送到目标数据库中。目标数据库利用Apply进程将LCR应用到数据库中，实现与源数据库的同步。Capture进程一般位于源数据库，Capture进程将日志分析后生成的LCR，然后再传输到目标数据库中进行应用。也可将Capture进程配置在目标数据库中，源数据库直接将日志文件传输到目标数据库，然后再利用配置在目标数据库的Capture进程进行分析，生成逻辑记录再利用Apply进程进行应用。2.3GoldenGate

7、技术GoldenGate数据同步的基本原理是由Extract进程读取源数据库的事物日志（Oracle中是redolog），将其中的变更操作（insert、update、delete等）按事务执行的顺序组合在一起，直接将其发送到目标服务其上，或者存放到Trails文件中，然后由DataPump进程将Trails文件传输到目标服务其上，在目标服务器上Collector进程接收从源服务器传送过来的Trails文件，最后由Replicat进程将Trails文件中的数据装载到目标数据库中。GoldenGate通过X络传输的数据量通常是日志量

8、的1/4或更少。以下为三者的优劣比较：3.技术选择3.1中心数据库与本地数据库同步技术选择为避免中心数据库在出现长时间不能恢复故障引起业务的长时间停顿，我们利用2004年购置的IBMP650小机建立了中心数据库的镜像数据库。考虑到中心数据库和镜像数