资源描述:
《数据库比对方案0317》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、数据库比对方案上海天玑科技股份有限公司地址:上海市桂林路406号2号楼11层邮编:200233电话:86-21-54278888传真:86-21-542798881比对背景Goldengate复制队列实时同步后,源端、目标端处于实时同步状态,下一步开始做源端、目标端数据库比对工作,为报表比对做好准备。由于生产库数据量大(4T以上数据),表累计3万张左右,制定详细比对策略,在保证数据质量同时,也要注意时间耗用,在数据准确性和比对时间上取得最佳平衡。1比对原则通过比对步骤,确定生产端和PBdata端数据一致性。根据不同的表分类,分别比对不
2、同的列,保证goldengate队列复制期间,数据稳定可靠。整个比对过程分为几个阶段:第一阶段:比对固定表是否一致,包括行列数,及重要列内容。第二阶段:比对变化表是否一致,包括所有字段内容。第三阶段:比对生产库和PBdata表的数量是否一致。第四阶段:完成所有表比对后,比对生产库、PBdata对象是否一致。(包括索引,视图,图表,函数,过程,触发器)第五阶段:新开PBdata应用账号,初检数据是否一致。1比对步骤1.1固定表固定表,即不实时update的表:前置表、解包表、区段表、日期明细表(部分)。前置表包括:tbl_fep_car
3、d_yyyymmddtbl_fep_tick_yyyymmddtbl_fep_pboc_yyyymmddtbl_fep_moni_yyyymmddtbl_fep_cmcc_yyyymmddtbl_fep_emgy_yyyymmdd前置表比对字段:rec_num(笔数),blob字段。解包表包括:tbl_metro_card_yyyymmddtbl_metro_tick_yyyymmddtbl_metro_pboc_yyyymmddtbl_metro_cmcc_yyyymmdd解包表比对字段:amount,entert_station_
4、id,exit_station_id,cardid,card_counter(计数器),deal_time,trunmber(交易流水号),equip_id,ticket_type,trans_type。区段表包括:tbl_metro_en_flux_seg_yyyymmddtbl_metro_ex_flux_seg_yyyymmddtbl_metro_stic_seg_yyyymmddtbl_metro_sta_inc_seg_yyyymmddtbl_metro_odflux_seg_yyyymmddtbl_metro_fluxne
5、w_seg_yyyymmdd区段表:比对全表。日期表:tbl_metro_sjtky_en_yyyymmddtbl_metro_sjtky_csm_yyyymmddtbl_metro_sjtky_sell_yyyymmddtbl_metro_sptcky_en_yyyymmddtbl_metro_sptcky_csm_yyyymmddtbl_metro_sptcky_sell_yyyymmdd日期表:可疑账数据比对以下字段amount,entert_station_id,exit_station_id,cardid,card_coun
6、ter(计数器),deal_time,trunmber(交易流水号),equip_id,ticket_type,trans_type其他:TBL_METRO_YJP_OTHER_20150201TBL_METRO_SJTEX_OTHER_20150201TBL_METRO_SJTSE_OTHER_20150201TBL_METRO_SJTEN_OTHER_20150201TBL_METRO_ODFLUX_MTR_20150201TBL_METRO_SPTEX_OTHER_20150201TBL_METRO_SPTSE_OTHER_20
7、150201TBL_METRO_SPTEN_OTHER_20150201TBL_METRO_TICK_20150201TBL_METRO_PBOE_20150201比对amount,entert_station_id,exit_station_id,cardid,card_counter(计数器),deal_time,trunmber(交易流水号),equip_id,ticket_type,trans_type。分区表:TBL_FEP_TXN_LOGTBL_FEP_TXN_MSGTBL_METRO_CH_SUB_ROADTBL_MET
8、RO_CH_SUB_ROAD_CHTBL_METRO_JCP_LISTTBL_METRO_OLAP_ODFLUXSUMTBL_METRO_OLAP_ODFLUXSUM1TBL_METRO_PBOE_LISTTBL_MET