分布式异构数据迁移系统的设计与实现

《分布式异构数据迁移系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、分布式异构数据迁移系统的设计与实现摘要：介绍分布式异构数据库的相关概念和特点，基于B/S模式设计分布式异构数据库迁移系统，将JDBCSQL数据类型作为各种异构数据库数据类型的中间模型，实现整体和部分迁移。说明了数据转换规则、数据迁移实现方法、转义处理、大型数据字段处理、迁移过程、断点续传。项目实例表明该系统具有较好的可行性和实用价值。关键词：分布式异构数据库；数据库管理系统；数据转换；转义处理；迁移过程一、引言随着计算机技术的高速发展和跨国企业规模的不断扩张，企业全面信息化已成为必然趋势。长期以来由于企业需求与历史发展的原

2、因，形成了多个不同部门相互独立的数据库异构管理信息系统的现状[1]。同时，在信息化建设过程中，随着数据技术和商业需求的发展，原有的信息系统不断被功能更强大的新系统所取代。从两层结构到三层结构，从客户端/N务器(C/S)到浏览器/服务器(B/S)，在新旧系统的切换过程中，必然要面临一个异构数据迁移的问题。二、分布式异构数据库分布式异构数据库是数据库技术与网络技术相结合的产物，即多个数据库系统的集合，可以实现数据的共享和透明访问，每个数据库系统在加入分布式异构数据库系统之前已经存在，拥有自己的数据库管理系统DBMS，具有物理分

3、布性、场地自治性以及场地之间协作性[2]。分布式异构数据库的各个组成部分具有自治性，实现数据共享的同时，每个数据库系统仍保有自己的应用特性、完整性和安全性控制。异构性主要体现在：计算机体系结构的异构，基础操作系统的异构，DBMS本身的异构。分布式异构数据库系统的目标在于实现不同数据库之间的数据信息资源、硬件设备资源和人力资源的合并和共享。分布式异构数据库系统具有分布数据库和异构数据库的双重特点，实现了数据分布性和逻辑整体性，优点主要有：灵活的体系结构，适应分布式的管理和控制机构，经济性能优越，可靠性高，可用性好，局部应用的

4、响应速度快，可扩展性好，易于集成等。由于数据库系统的存储模式，类型定义等不尽相同，因此集成应用时就必须消除各数据库的异构模式，方便数据的统一管理。三、分布式异构数据库迁移系统的设计与实现系统基于B/S模式设计，采用Java与数据库接口规范(JavaDatabaseConnectivity,JDBC)。JDBCAPI定义了若干Java中的类，表示数据库连接、SQL指令、结果集、数据库元数据等。它允许Java程序员发送SQL指令并处理结果，通过驱动程序管理器，JDBCAPI可利用不同的驱动程序连接不同的数据库系统。3.1系统总

5、体结构分布式异构数据库迁移是自下而上的数据集成方法，采用异步分工合作的4层协议，如图1所示。图1.系统结构第1层有底层独立自治的数据库的访问对象Queryobject和各关系型数据库。Queryobject载有各个数据库商家开发的针对各自数据库的JDBC驱动，实现数据库的连接和数据访问。各DBMS运行于各自的数据库应用系统中，是产生异构数据库的原因；第2层消除异构模式，是异构数据库得以实现的基础，包括：消除命名冲突，格式冲突，结构冲突，数据冲突，保留关键字冲突，大字段冲突等，有转义处理、大型数据字段处理和出错处理功能模块；

6、第3层是数据库转换规则和断点续传，定制了各个数据库之间数据类型的映射关系，是异构数据库得以运行的依赖；第4层是异构数据库的功能层，主要实现创建表、整体迁移和部分迁移，在第2层和第3层的支持下实现数据的共享和透明访问。另外，TableObject负责读取、组织数据字典信息，系统将数据字典纪录组织在XML文件里，ObjectServer通过TableObject的界面读取连接数据库所需的信息，组织信息成为动态数据字典。QueryObject的工作就是利用JDBCDriver连接数据库、查询数据库，将查询结果返回给ObjectS

7、erver。3.2数据转换规则数据类型转换规则是数据迁移的首要问题。每个DBMS都定义了一套自身的数据类型，随着数据库系统的发展和版本的升级，数据类型的种类也不断增多，但不论数据类型如何变化，其功能都是满足用户的数据处理基本要求，这些具有共性的方面，给系统间的数据转换带来了可能和方便。不同数据库的数据类型存在差异，其自身定义和扩充之间的区别，给系统间的数据转换带来困难。例如，DBMS返回的日期和时间数据格式在各个DBMS中有很大的不同，有些系统以8字节整数格式返回日期和时间，另外一些以浮点数格式返回。所以，异构数据库数据类

8、型转换的关键是找出其中的对应关系。数据类型转换有2种方法：(1)定制类型映射表，设计多个相应的双向数据转换程序，解决不同的数据类型匹配问题；(2)建立全局统一的公共数据模式，利用JDBCSQL数据类型定制一一映射关系表。系统采用第(2)种方法，通过JDBCSQL数据类型作为各种数据库数据类型的中间模型，