一种基于sca的etl架构的设计与实现

《一种基于sca的etl架构的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：10255学号：21474一种基于SCA的ETL架构的设计与实现DESIGNANDIMeLEM匝NTAIoNoFANSCA．BASEDETLARCHn卫CTURE学科专业：计算机应用技术作者：易先海指导教师：李继云答辩日期：2014年1月东华大学计算机科学与技术学院2014年1月9日东华大学学位论文原创性声明』嬲嬲嬲本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中己明确注明和引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品及成果的内容。论文为本

2、人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。学位论文作者签名：．易炙够日期：加f缈年7月夕日东华大学学位论文版权使用授权书学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密口，在年解密后适用本版权书。本学位论文属于不保密吼学位论文作者签名：指导教师签名：日期：沙f∥年／月77日日期：≯哞f月莎日一种基

3、于SCA的ETL架构的设计与实现摘要信息系统是现代化企业必不可少的业务系统，里面存储着企业的宝贵财富。激烈的市场竞争使得企业不得不由传统的联机事务处理业务系统和办公自动化系统转向联机分析处理和数据挖掘的商务智能系统，而数据仓库则是商务智能系统的数据基础。数据仓库建设中有60％～80％的开发周期和三分之一的项目成本是花费在ETL上的，使得ETL成为数据仓库项目的瓶颈。针对ETL开发周期瓶颈的问题，本文提出一种基于SCA的ETL架构。把ETL中要解决的主要问题进行更细粒度的划分，采用更细粒度的组件来实现，根据不同问题的特点选择适合的实现方式，然后

4、采用SOA的架构设计思想和其SCA最佳实现方式，把这些细粒度组件实现通过SCA容器统一整合起来。在本架构中把ETL的实现分为四种粗粒度组件，即元数据组件、通用数据源组件、数据质量组件和维度建模组件。其中元数据组件和通用数据源组件属于基础组件，供数据质量组件和维度建模组件调用，各粗粒度组件又包括多个实现具体功能的细粒度组件。本文通过一个实际项目的应用开发，说明基于单一的ETL工具来实现ETL流程时所存在的问题，如数据源的变更，系统的升级，客户提出了更高的需求等，然后论证了基于SCA的ETL架构能够很好的解决这些问题，同时具有极大的灵活性，证明了

5、基于SCA的ETL架构能够降低ETL的开发周期，具有实际的应用价值，最后分析了基于SCA的ETL架构的优缺点及其适用的场景。关键词ETL数据质量服务组件架构web服务DESIGNAND玎垤PLEMENTATIoNoFANSCA-BASEDETLARCⅢTECTUREABSTRACTThelnformationSystemsareessentialtothemodernenterprisebusinesssystem．whichstoresvahablecorporateasset．W曲thecompetitivemarketcompanies

6、havetoturntowardstheonlineanalyticalprocessinganddataminhgbusinessintelligencesystemsfromtheIraditionalonlinetransactionprocessingsystemsandtheofficeautomationbusinesssystemsanddatawarehousesarebasedondatabusinessintelligencesystems．Accordingtostatistics，inthedatawarehousec

7、onstruction，60％to80％ofthedevelopmentcycleandathirdoftheprojectcostarespentonETL，makingETLbecomethebottleneckofdatawarehouseproject．AccordingtothebottleneckproblemofETLdevelopmentcycle，thisthesisproposesaSCA-basedETLarchitecture．ThemainETLproblemstobesolvedaredividedbyfmergr

8、ainedmethods．Theyadoptmorefme—grainedcomponentstoachievetheETLprocess，selecttheapp