etl在经济普查信息发布系统中的应用研究

《etl在经济普查信息发布系统中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：UDC：密级：编号：工程硕士学位论文EI'L在经济普查信息发布系统中的应用研究硕士研究生：曾祥莉指导教师：王燕副教授企业导师：刁洪滨高级工程师学位级别：工程硕士学科专业：软件工程所在单位：黑龙江省统计局论文提交日期：2010年5月论文答辩日期：2010年6月学位授予单位：哈尔滨工程大学～ClassifiedIndex：U．D．C：ADissertationfortheDegreeofM．EngTheResearchontheApplicationofETLinEconI"Cen,InformationPublis

2、hingEconomlcensusIntormationPublishingSystemCandidateSupervisorAcademicDegreeAppliedforSpecialityDateofSubmissionDateofOralExaminationUniversity：ZengXiangli：AssociateProf．WangYan：GraduateCandidateTest：SoftwareandTheoryofComputer：May，2010：June，2010：HarbinEngineeri

3、ngUniversity●—1●■

4、哈尔滨工程大学学位论文原创性声明本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本人独立完成的。有关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中已注明引用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。作者(签字)：‘蠢薛翻’I，日期：．加。年6月tTn哈尔滨工程大学学位论文授权使用声明本人完全了解学校保护知识产权的有关规定，即研究生

5、在校攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨工程大学有权保留并向国家有关部门或机构送交论文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈尔滨工程大学。涉密学位论文待解密后适用本声明。本论文(忉在授予学位后即可口在授予学位12个月后口解密后)由哈尔滨工程大学送交有关部门进行保存、汇编等。作者(签字)：噶璋匀日期：为【o年6

6、月B日导师(签字)：王垫加f。年6月f》日■1／1l■LETL在经济普杏信息发布系统中的应用研究摘要ETL即数据抽取、转换、装载，是构建数据仓库的一个非常重要的环节。可以这样认为：ETL就是整个数据仓库系统乃至整个决策支持系统的基石。如何设计全面高效的ETL过程是数据仓库项目设计者必须考虑的重要问题。本文对经济普查信息发布系统中所采用的一些关键的ETL技术进行了研究分析，包括针对异构数据源的数据抽取技术，个性化数据的转换技术以及更新追加技术等。首先，对数据源进行了分析，针对系统数据来源的异构性，即结构化数据源DBMS类型

7、和非结构化文件类型，提出了一种并行数据抽取接口设计方案，并根据经济普查的实际情况，确定采取全量抽取和增量抽取相结合的抽取方式。其次，为满足信息发布的要求，提供给用户以各种灵活组合方式进行的查询，数据需要进行特定的格式转换，本文提出在数据源和数据仓库之间增加一个中间层ODS(操作型数据存储)，研究了在ODS中的转换策略。第三，提出采用变通的时间戳方式进行更新追加的装载策略，这种方式不会占用过多的系统资源，不会影响现有系统表的结构，也不需要增加新的开发。本文提出的ETL策略已在黑龙江省经济普查信息发布系统中实现，并通过实际应

8、用证明了策略的有效性。关键词：E11L；数据仓库；异构数据源；ODs；经济普查'_I、、1刁ETL在经济普查信息发布系统中的应用研究AbstractETL(dataextraction,transformationandloading)isaverysignificantpartinconstructingdatawarehouse．Risgenerallyregarded弱thefoundationofthewholedatawarehousesystemanddecisionsupportsystem．Forthos

9、ewhoaledesigningthedatawarehouseproject，ithasbecomeanimportantquestionfortheirconsideration---howtodesignanefficientETLprocess．Thisthesishasanalyzedsomekeytech