数据导入模块设计.doc

《数据导入模块设计.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、深圳市汉云科技SCSDB-RDBMS数据导入模块概要设计模块名称:SCSDB-RDBMS数据导入模块版本:V0.1完成日期:2013-02-19作者:熊志强审核:批准:文件状态:■草稿□正式发布□正在修改版本历史版本/状态责任人起止日期备注V0.1/草稿熊志强2013-02-19至2013-02-211、完成接口定义。具体的开发设计由合作者补充完成。目录1.前言11.1.项目简要说明11.2.文档说明11.3.术语12.设计目标12.1.关键功能12.2.关键质量属性12.3.约束条件23.逻辑架构设计34.开发架构设计34.1.关键

2、目录、文件组织34.2.程序单元组织34.3.数据结构设计44.4.接口定义54.5.关键处理逻辑流程65.物理架构设计71.前言1.1.项目简要说明数据导入模块是SCSDB-RDBMS整个系统的一个子系统模块。1.2.文档说明本文档是数据导入模块的设计文档，包括接口定义、开发架构设计、逻辑架构设计等方面内容。文档当前主要描述了接口定义及一些重要的逻辑处理内容。具体的其他设计内容由合作者补充完成。1.3.术语源数据库：导出数据的数据库目标（目的）数据库：被导入数据的数据库2.设计目标2.1.关键功能功能描述备注数据库、表结构导入能够将

3、源数据库、表的结构信息导入目标数据库中。主键、索引信息需要保留下来由于SCSDB与mysql的无缝兼容，所以将mysql的数据库、表结构信息导入SCSDB是非常容易的，可以先期开发。而oracle、sqlserver与SCSDB的差异较大，可以后期再开发表数据导入能够将源数据库、表中的数据导入到SCSDB支持多种商用源数据库能够支持将mysql、oracle、sqlserver的数据导入到SCSDB模块需要全面支持将mysql、oracle、sqlserver的数据导入SCSDB图表1关键功能列表2.2.关键质量属性质量属性描述备注高

4、可靠性这里的高可靠性是指数据不丢失、数据不被修改，导入后的数据与源数据完全相同；表属性能正确保留，如索引、主键属性要保留；其他SCSDB不支持的属性可删除，如外键高可靠性是数据导入模块的一个非常重要指标。导入完成后，从目标数据库中查询到的数据与从源数据库查询到的数据完全相同，数据不丢失、不截留（只保留了小数点前几位）。SCSDB支持的数据类型、属性可能与其他商业数据库有些不同，如SCSDB不支持外键，在处理类型、属性时请积极与SCSDB开发者沟通，确定开发方案高稳定性在长时间导入大数据时能够稳定运行高性能在导入大数据表（kw级别以上）

5、时，能有较好的性能表现通过多线程并行导入等各种手段提高数据导入的性能多线程安全调用者在多线程方式下调用本模块应是线程安全的可维护性有良好的可维护性，方便其他人员维护本模块详细的设计文档；良好的编码规范；详细的注释可扩展性模块要划分清晰；各子模块、接口间要弱耦合图表2质量属性列表1.1.约束条件约束条件描述备注系统支持能够支持Windows（XP/VISTA/VIN7）、linux（centos5.5/centos6.2）系统Windows系统输出sip.dll和sip.lib文件，linux系统输出libsip.so和libsip.a

6、文件服务不中断在数据导入过程中，不能中断源数据库服务器的服务采用各种手段，尽量保证服务不中断或只中断部分服务。如从mysql导入数据，可以进行locktable操作，暂停增删改服务，但不影响查询服务图表3约束条件列表1.逻辑架构设计图表4数据导入模块逻辑架构封装接口API层：负责封装本模块的接口，供上层调用者使用。数据导入逻辑控制层：按照一定的逻辑，调用下层的查询源数据库、数据分析、导入目标数据库子模块，来实现数据导入功能。查询源数据库：通过向源数据库发送查询命令，从而获取源数据库的表结构信息或表数据。数据分析：对从源数据库中查询到的

7、数据进行分析，以转换成适合导入到目标数据库的数据。导入目标数据：将转换后的目标数据导入目标数据库。数据库访问接口层：相应数据库厂商提供的访问下层数据库的接口API。2.开发架构设计2.1.关键目录、文件组织目录、文件名目的sip.h数据导入模块封装的对外接口API的定义sip_types.h数据导入模块重要的、公共对外的数据类型定义sip_error.h数据导入模块的错误码、错误消息定义图表5关键目录、文件列表2.2.程序单元组织明确描述各单元编译依赖关系。1.1.数据结构设计//枚举目标数据库（表）存在时的处理方法typedefen

8、um{EXIT_DEL,//如果目标数据库（表）已存在，则先删除目标数据库（表）EXIT_IGN,//如果目标数据库已存在，则忽略，继续后面的操作；//如果目标数据表已存在，则忽略，继续后面其他数据表的导入EXIT_AB