tdm系统中数据导入功能的设计和实现

《tdm系统中数据导入功能的设计和实现》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、从本学科出发，应着重选对国民经济具有一定实用价值和理论意义的课题。课题具有先进性，便于研究生提出新见解，特别是博士生必须有创新性的成果TDM系统中数据导入功能的设计和实现　　摘要:TDM系统的数据导入功能需要采用三层结构以适应保密需求;数据导入性能是关键指标,而Oracle数据库系统的外部表特性可以大大提高数据导入性能。　　关键词:试验数据管理;TDM;数据导入;ETL　　　　1背景　　进入到21世纪以来,我国的TDM(试验数据管理)技术领域展现出蓬勃的生机,越来越多的行业和单位开始关注该技术和

2、相关的解决方案,如航空、航天、兵器、船舶、汽车等。TDM系统正在成为企业提高试验管理水平、缩短科研周期、降低科研经费的重要手段。编辑。　　作为一个综合数字化管理平台,TDM系统涉及很多复杂的功能和技术,而数据导入功能就是其中之一。　　试验数据导入功能就是从各种格式的海量试验数据文件中快速提取目标数据、再转换清洗后装载到数据库中。　　目前试验数据管理的需求状况决定了数据导入功能的重要性。　　(1)试验数据格式多变课题份量和难易程度要恰当，博士生能在二年内作出结果，硕士生能在一年内作出结果，特别是对

3、实验条件等要有恰当的估计。从本学科出发，应着重选对国民经济具有一定实用价值和理论意义的课题。课题具有先进性，便于研究生提出新见解，特别是博士生必须有创新性的成果　　目前国际和国内的试验数据采集设备多种多样,并且还没有形成统一的标准,而且许多客户单位也大量采用非标设备,于是采集的试验数据格式也就多种多样。这对TDM系统的导入功能带来了很多的挑战。　　(2)试验数据量很大　　试验作为产品研发生命周期的重要工作,其地位日渐增强,试验产生的数据量也呈几何数量级增长。TDM系统的导入性能也就成为一个关键指

4、标。　　　　数据导入功能特点　　同许多ETL工具一样,TDM系统的导入功能包括extract(抽取)、transfer(转换)、clean(清洗)和load(装载)等几个步骤。　　但是,试验数据管理的特殊需求决定了它又具有自身的特点。除了前面提到的数据格式多样、数据量大之外,单位保密要求对于产品架构设计产生了很大的影响。　　许多单位,尤其是国防单位,都有严格的保密制度。在信息化系统的部署方面,普通用户计算机一般是不允许直接访问数据库的,只有指定的服务器才有权限直接访问数据库。这就决定了传统的C/

5、S两层结构不能适应客户需求,B/S三层结构则成为必须的选择。　　　　三层结构解决方案课题份量和难易程度要恰当，博士生能在二年内作出结果，硕士生能在一年内作出结果，特别是对实验条件等要有恰当的估计。从本学科出发，应着重选对国民经济具有一定实用价值和理论意义的课题。课题具有先进性，便于研究生提出新见解，特别是博士生必须有创新性的成果　　我们把系统分为三层结构:用户层、应用层和数据层,如图1所示。其中用户层为数据导入客户端工具;应用层为基于J2EE平台的应用服务器和FTP服务器,J2EE服务器提供We

6、bService,包括WebService和JavaBeans等J2EE组件;FTP服务器提供对上传文件的管理功能,并提供多线程的文件上载到数据层的功能。数据层包括数据库服务器,其中数据库服务器中包含系统的元数据库、业务数据库和相关的后台进程。　　课题份量和难易程度要恰当，博士生能在二年内作出结果，硕士生能在一年内作出结果，特别是对实验条件等要有恰当的估计。