基于cwm的etl工具的设计与实现

《基于cwm的etl工具的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大连海事大学硕士学位论文基于CWM的ETL工具的设计与实现姓名：何宇峰申请学位级别：硕士专业：计算机软件与理论指导教师：谢益武20080301中文摘要摘要ETL(ExtractTransformationLoading，ETL)就是从多个异构数据源获取业务数据，进行数据清洗和和转换，存储到数据仓库的过程。ETL是BI／DW的核心和灵魂，按照统一的规则集成并提高数据的价值，是实施数据仓库的重要步骤，ETL的开发也是整个数据仓库系统开发过程中工作量最大、耗时最长的部分。然而，在目前开发ETL系统的过

2、程中，存在着一些问题，其中最典型的就是元数据管理混乱问题。针对这个问题，本文提出一种基于公共仓库元模型(CommonWarehouseMetamodel，CWM)来开发ETL系统的思想，CWM是数据仓库和业务分析领域的一个完整的元模型。作为一个元模型，CWM提供了构造描述一个完整信息供应链(InformationSupplyChain，ISC)的所有组件的元数据所需要的语法和语义，从而便于数据仓库系统和商业智能系统中的各种工具之间的元数据交换，因此直接在CWM框架下丌发ETL工具，能大大缩短开发

3、周期并容易被其他工具所理解。本文首先分析了ETL系统在数据仓库系统中的作用和ETL工具的发展现状，尤其重点介绍了元数据在整个过程中的指导控制作用；详细分析了CWM中对ETL过程提供元模型的各个包的结构，并以现有包为基础归纳出数据抽取、转换和装载元模型。以该元模型为指导设计ETL系统，首先描述了从CWM模型中每个类、属性和关联映射到相应的关系数据库组件中的方法，构建一个全局元数据库来存储元模型结构和ETL规则：分析对操作型数据库中的数据和相应元数据进行抽取的方法，尤其是对增量数据的处理方法和实现；

4、定义如何描述一个数据转换的概念模型及其在CWM模型下的实现算法，最后阐述了数据加载过程的步骤和关键算法。关键词：盯L；元数据；c1

5、I『M；数据仓库英文摘要TheDesignandImplementationofETLToolsBasedonCWMAbstractTheETL(ExtractTransformandLoad，ETL)systemsareresponsiblefortheextractionofdatafromvariousdatasources，processingtheextr

6、acteddata(suchascleaning，transforming，etc．)andloadingtheprocesseddataintothetargetDW(DataWarehouse)．It’SthecoreandsouloftheBIJDW．TheETLsystemmakesdataintegratebyunifiedrulesandimprovesthevalueofdata．It’SthekeyprocesstoimplementtheDW．ThedevelopmentofE

7、TLsystemisalsothemosttime-consumingandwork-consumingpartofthewholedevelopmentoftheDW．However,atpresent，therearesomeproblemsexistinginthecourseofETLexploitation．Themosttypicalproblemistheconfusingmanagementofmetadata．Inordertosolvethisproblem，anewmeth

8、odforETLexploitationbasedontheCommonwarehousemetamodelWasappliedinthispaper．CWMisacompletemetamodelinthefieldofthedatawarehousingandbusinessanalysis．Asforametamodel，CWMprovidesboththesyntaxandsemanticsrequiredtoconstructmetadataofallcomponentsofacomp

9、leteISC，inthiscase，theexchangebetweenthedatawarehousesystemandthebusinessintelligencesystemwouldbeeasier．Therefor,thedeveplomentofETLtoolundertheCWMflamecangreatlyshortenthedevelopingcycleandbeeasilyunderstoodbyothertools．Firstly，thefunctionofETLsyst