etl在数据中心中设计和实现

《etl在数据中心中设计和实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、东华大学学位论文原创性声明IUllIIIM[1llllll[IMIllIlUIY2136433本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品及成果的内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。学位论文作者签名：欠哎日期：≥p，，年／月基于CWM的E1几在数据中心中的应用研究东华大学学位论文版权使用授权书学位论文作

2、者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于保密口，在——年解密后适用本版权书。不保密回。学位论文作者签名：起伎日期：加f1年，月If日指导教师签名：飞以日期：加tt年t月，1日ETL在数据中心中的设计与实现摘要随着信息化建设的开展，政府加大投资力度进行信息系统建设，以帮助政府进行电

3、子政务处理和管理工作。这些系统的运行，积累了大量的业务数据；但各个系统的业务数据分布在各自的系统中(操作系统、数据库管理系统和数据标准都不相同)。这些数据之间缺乏对应和转换关系，协同能力较差，形成“信息孤岛"。信息虽然可以在本系统中进行流转，但与其他系统的交互性较差。各自孤立运作的系统将会产生大量的冗余数据和造成业务人员的重复劳动，而采用传统点对点的数据交换方式将使得系统的集成费用和维护成本成倍增加。构建公共数据中心成为当务之急。ETL(Extraction、TransformandLoad，数据抽取、

4、转换和装载)是构建公共数据中心的关键环节。ETL系统将一个机构的所有的信息资源集成到一个无缝的、并列的、易于访问的数据资产中；这样可使一个功能强大的数据资产运作起来就像一个单一系统。ETL通过建立底层数据交换平台来联系整个部门机构的异构系统、应用、数据源等。该平台用于满足机构内部的业务系统、数据库、数据仓库，以及其它重要的内部系统之间无缝地共享和交换数据的需要。本文以本人参与的上海市浦东新区政府公共数据中心信息系统项目为依托。先分析和设计公共数据中心信息系统，再按照公共数据中心的实际需求，对公共数据中心

5、的ETL工作过程进行设计和实现。首先，鉴于公共数据保密性的特点，设计了数据不同的获取方式。公共数据中心支持在线数据采集，也支持数据从光盘等介质上传到数据中心。其次，在设置数据转换规则的过程中结合相应领域知识，保证数据质量。再次，ETL在数据中心中的设计与实现前置机之间实行负载均衡，保证数据抽取效率，提高系统的可用性和可扩展性。最后，将数据转换的不同步骤分配到两台ETL服务器来完成，保证转换效率。本文主要内容如下：(1)数据仓库技术基本理论；(2)公共数据中心信息系统总体需求分析；(3)公共数据中心信息系

6、统总体设计；(4)公共数据中心信息系统ETL的设计与实现：ETL过程设计、ETL环境准备、ETL实现、ETL测试、异常处理、ETL日常管理。关键词：ETL；数据仓库；数据抽取；数据转换ETL在数据中心中的设计与实现DESIGNANDIM呻LET讧ENTATIoNoFETLSYSTEMINDATACENTERABTRACTWiththelaunchingofinformationtechnology,thegovernmenthasincreasedinvestmentininformationsyste

7、mconstructiontohelpthegovernmentdealwithavarietyofe-governmentandmanagement．Theoperationofthesystemaccumulatesalargeamountofbusinessdata；howeverthebusinessdatainvarioussystemsaredistributedintheirrespectivesystems(operationsystem，databasemanagementsystem

8、anddatastandardsarenotallthesame)．Lackofcorrespondenceandconversionbetweenthesedataandcoordinationabilityispoor．“InformationIsland”isformed．Althoughtheinformationcouldcirculateinthesystem，theinteractionwithothersystemsispo