etl关键技术研究

《etl关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、东南大学硕士学位论文ETL关键技术研究姓名：于立申请学位级别：硕士专业：计算机应用技术指导教师：徐宏炳20050301摘要构建数据仓库和数据集成应用都需要使用ETL工具，要求ETL工具能支持多种数据转换源和目标、软件易于部署和使用以及转换手段多样化。市场上现有的ETL工具都不能完全满足数据仓库和数据集成要求。本文结合对自行研制的ETL工具——sEuETL的改进和技术预研，研究了ETL工具实现的关键技术。针对SEUETL工具的不足，我们使用了CWM来描述ETL过程。构建了统一数据模型描述物理数据源对应的数据存储模型，屏蔽不同数据模型中描述的差异；

2、构建了转换元模型来描述ETL转换的逻辑过程，屏蔽ETL转换具体实现的差异；构建了运行调度元模型，描述ETL过程的运行实现，屏蔽不同软件部署方式的差异。在元数据管理中，引入了动态属性概念，提高了ETL过程设计的灵活性和设计效率，较好的解决了遗留系统的业务数据处理。在ETL转换中引入了脚本转换，并对SQL进行了扩展以适合ETL的需要，实现了对uDF的支持，增加了可使用的转换手段。实现了和数据转换相融合的数据清洗框架，定义的数据清洗规则可以自动执行。对ETL过程的运行调度作了一定研究，实现了ETL转换的粒度控制。通过这些改进，SEUETL已经能够满足

3、构建数据仓库和数据集成的要求，实现现有的转换类型，并为用户提供了一个友好的设计．调试界面。关键字：ETL、数据转换、元数据、元模型、数据清洗IVAbstractImplementationofDataWarehouseandDa：taIntegrationallneedtouseETLt001．Abili田ofsuppOrtmultifo咖dataconVersionsourceandtarget，easiIysoRware’sdeploymentanduSage，Various印proachoftransfomation，theseareal

4、lVeD，importanttoETLt001．ExiStingETLtoOlcan、satis矽Da组WarehouseandDataInte铲ation印plicationcompletelyonthemarket．Intllisp印er，weresearchthekeytechniqueofETLtoOlrealization，baSeontheimproVememandreseal．chinadVanceofourETLtool——SEUr_ETL．AimattheshortageofSEU—ETL，weusedCWMtodescrib

5、etheprocessofETL．、№constructUnif-omDataModeltodecc曲econ．esponding109icaldataaccessmodelofphysicsdatasource，shieldthedif诧renceofdescriptioninthedif．ferentdatamodel；constmctmetatransfornlationmodeltodescribethelogicpmcessofETL仃ansfomer，shieldthedifferenceofETLt啪sfo硼ation’sreal

6、izationinspecificwaycar巧out；constructmetascheduler／】mnmodel，describeETLrunning，shieldthedi虢renceofso厅waredeployment．Inmetadatamanagement，wein仃I)ducetheconceptofdynamicatl—bute，raisedvividaJldthedesigIle伍cienciesofETLprocessdesign，ithaVebetterresultonoldbusinessdataprocessing

7、．Weintroducesc—pt’s打ansfonnationinETL，andexpandstandardSQLtokeepwiththerequestofETL，c拼iedouttotheUDFsupport，increaLsedthetransfomermeansthatcanuse．Wecarriedoutt11edatacleaning疳锄ewith(1ata仃ansfomationmutuallyblend，thedefinedcleanⅢlescanbeexexuteautomatically．Wemal(ethecenainr

8、esearchtotheschedu】erofE7rLprocess，car巧outextractgranularit)，con仃01．Bythese