基于GoldenGate的数据分发实践章晨曦

《基于GoldenGate的数据分发实践章晨曦》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于GoldenGate的数据分发实践CN'SOUG联合创始人OracleOCM8+OracleDatabaseAdministrator/Developing信泰保险技术经理个人技术兴趣:Database,OS,Intelligencehttp://www.cnsoug.org•http://blog.itpub.net/13885898/浙江∙杭州需求背景第一家总部位于浙江的全国性寿险公司注册资本50亿元，资产逾300亿元，年保费收入超过100亿元拥有18家分公司，63家三级机构，263家四级机构拥有一

2、家全国性保险销售公司-联创保险数据交换系统较多DBLink较凌乱DBLink物化视图核心系统报表查询财务系统物化视图DBLinkDBLink数据平台DBLinkDBLink建议书客服系统系统DBLink各类报送系统容易出现性能问题较难管理移动保险精算系统系统DBLinkDBLink耦合性较DBLink强对原有系统影响较小或无影响实现及管理较容易提升数据流向的清晰度降低系统间的耦合度提升整体系统的性能归纳成图就是增量报表查询核心系统抽取数据平台增量财务系统抽取统建议书一系统增量数客服系统据抽取分移动保险发系统增量精算系

3、统抽取各类报送系统移动保险增量系统抽取客服系统系统建设原则要有较高的可用性数据准确性要高容易管理和监控能集成到大数据平台中可用性的实现自动重启Extract或Replicat进程在网络不稳定或网络短暂中断后特别有用需要保证Manager进程正常运行CheckpointFileTrailFile采用ACFS用来安装GoldenGate软件用来存储TrailFile可以配置GoldeGateVIP实现故障转移原先的架构-比较重型实施较繁琐，且比较容易出错容易导致错误累积容易导致数据延迟双向复制比

4、较困难轻量化架构不会导致错误累积数据延迟更小双向复制更加容易实现DBFS+DataGuardVIPDataGuardDBFSTRAILCHECKPOINTFILE保证数据准确性本身没有机制来保证数据准确性本身没有提供数据校验的方法基于J2EE的B/S架构数据校验在内存中完成数据会先取到Veridata服务器上再进行校验运算，对数据库压力较小可以进行数据修复2*6CoreCPU+32GB，能达到5万-10万条每秒的校验速度Shell脚本+Cronjob监控GoldenGateEM+GoldenGatePl

5、ugin进程状态监控和告警数据延迟监控和告警大数据平台集成*需求：数据能增量实时更新到核心系统抽取Hive中增量财务系统抽取统一增量数客服系统据抽取分发增量精算系统抽取移动保险增量系统抽取读取JMS，将消息输出到Trail中JMSHandlerMessageJMSCaptureExtractJMSHandlerTRAILVAM读取Trail，将事务写入到目标库或FlatFile或消息中间件中(如ActiveMQ)JMSJavaJMSTRAILReplicatUserHandlerExit目标库FlatFileGolden

6、GateAdapter的扩展支持将事务输出到HDFS、HBase、Flume和Kafka使用HDFSHandler输出事务类型为SequenseFileReplicat进程配置要点Q&A