数据迁移工具汇报

《数据迁移工具汇报》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据迁移工具系统概述1技术方案2功能介绍3系统特点4成功案例5在油田信息化建设中，数据是核心关键，是信息化建设最有价值的资产。而将业务应用产生的有价值的数据，在整个油田信息网中可控、及时、安全的流转，是避免数据孤岛的关键。数据及业务人员在数据管理过程中，经常要面对的是数据的迁移、数据的备份、数据的清洗及数据的同步等需求。而如果利用数据库现有功能去实现，技术要求高、操作复杂、灵活性差、功能受限。一、系统概述项目背景目前常规数据迁移的方法一般有三种：开发专用的迁移程序优点是操作简单，操作人员只需要会使用迁移软件即可。缺点是需要一定开发周期，需要研发人员配合，灵活性差，需求一旦变更，

2、程序就要改造。借助Oracle等数据库的功能实现需要专业的数据库管理员或数据库开发人员才能实现，技术要求高，且难以实现不同类型数据库之间的迁移。采用GoldenGate等第三方的迁移软件优点是功能相对完善，效率高。缺点是配置复杂，一般业务人员难以掌握，按点收费，费用高昂。项目背景一、系统概述通过对相关业务分析，XX数据迁移工具设计主要具备三大功能，即数据迁移、数据同步、文件导入。数据迁移应该具备以下特点：易用性好，完全的可视化操作界面，方便上手。功能强大，可满足数据管理中的各种数据迁移需求。运行稳定。高效。设计目标一、系统概述如何支持不同类型数据库之间的数据迁移及同步。如何支持

3、数据库结构不同时，数据的迁移及同步。如何支持在迁移及同步过程中做复杂的数据处理及转换计算。怎么解决数据增量同步，并确保高效及实时性。如何实现软件的易用性。技术难点一、系统概述系统概述1技术方案2功能介绍3系统特点4成功案例5二、技术方案开发一套定制工具，制定一些对应规则，实现不同的数据库、不同的表结构之间对应关系的建立。通过引擎调用不同的底层驱动，实现不同数据库之间的数据迁移。设计思路数据质量检查源库解析引擎数据对应规则目标库目标数据事件操作二、技术方案数据库管理员业务人员应用程序应用程序数据迁移工具UI界面数据迁移服务接口数据迁移工具界面定制引擎功能调度引擎多线程调度引擎日志

4、记录引擎自动运行引擎异常处理引擎数据库操作引擎Oracle引擎SQLServer引擎Access引擎DBF引擎Excel引擎……功能操作引擎数据迁移引擎数据同步引擎文件导入引擎数据库整体技术架构TCP通信引擎二、技术方案数据操作流程用户制定迁移规则异常监控实时反馈日志记录数据迁移工具规则解析数据分量加载数据迁移前处理数据迁移完成数据迁移后处理数据迁移、同步及文件导入均遵从此流程。二、技术方案软件部署源数据库数据迁移工具服务器目标数据库数据迁移工具可部署在局域网内的任何一台机器上，源与目标数据库均不需要安装任何软件，也不需要变动任何库结构，只需提供访问帐号即可。二、技术方案数据访

5、问模式数据迁移工具工厂设计模式Oracle驱动SQLServer驱动ACCESS驱动OLEDB驱动OracleSQLServerACCESSExcel其它数据操作基于工厂的软件设计模式，实现了对各种不同数据库的支持，如果要增加新的数据库支持，系统变化很小。灵活性及可扩展性好。二、技术方案关键技术多种数据库类型支持数据处理或转换支持虚拟表、存储过程支持大字段分段迁移数据分页迁移系统概述1技术方案2功能介绍3系统特点4成功案例5数据迁移系统数据迁移功能数据同步功能数据库管理表对应管理字段对应管理任务管理运行日志管理数据库管理字段对应管理表对应管理运行日志管理条件迁移增量迁移触发器同

6、步Oracle日志同步手动运行远程调用文件数据操作功能文件导入规则管理文件操作运行管理运行日志管理自动运行功能框架图三、功能介绍将源数据库现有数据根据设定的筛选条件，按照数据表或是字段对应规则，手动或是自动定时将数据迁移至目标数据库。源数据库迁移规则要迁哪些表数据迁移的条件是什么迁移数据是否要预处理什么时候开始迁移出现异常怎么处理是否要检测库结构一致性源与目标表对应关系如何目标数据库规则解析迁移事件任务运行异常处理数据处理迁移引擎数据抓取数据写入日志记录1、数据迁移模块说明三、功能介绍运行结果Oracle源库解析引擎数据对应规则Oracle目标库目标数据事件操作分页提取数据迁移

7、流程三、功能介绍1、数据迁移数据同步是指源数据库发生变动时，目标数据库在最短的时间内同步相应变动。通过实时捕获变化数据，根据表和字段对应关系将改变的数据同步到源头数据总库，实时保持源数据库与目标数据库数据的一致性。源数据库目标数据库同步规则要同步哪些表数据同步数据是否要预处理出现异常怎么处理是否要检测库结构一致性源与目标表对应关系如何规则解析同步事件异常处理数据处理同步引擎数据获取数据写入日志记录三、功能介绍模块说明2、数据同步归档日志同步CDC同步触发器同步按照捕获数据变化方式，同步分为解