一种基于元数据的新型通用etl技术

《一种基于元数据的新型通用etl技术》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华东师范大掌2004届工程硕士申请硕士学位论文一种基于元数据的新型通用ETL技术专业名称：软件工程硕士研究方向：申请者姓名：盎鉴杰申请者学号：登Q至321Q25导师姓名、职称：黄鱼墨垫亟院、系(所)：软件学院摘要论文题目：一种基于元数据的新型通用ETL技术专业：软件工程硕士生：指导教Ni．签名：盔曼生垂签名：中文摘要ETL技术是数据仓库与数据挖掘技术的应用基础。没有高质量的数据信息，分析的结果将是不可靠的。我们所期望的ETL工具应该具备以下特性：源与目标数据种类的多样性、转换规则的灵活性、使用开发的简单性、调试测

2、试的支持能力、与其他工具系统的集成能力、运行平台的无关性。满足这些特性的ETL工具将成为整合数据应用环境的强大工具。然而，目前市场上提供的众多ETL工具在不同的方面都存在一定的缺陷，不能承担起数据应用环境整合工具的任务。为了找到一种通用灵活的ETL途径，我们研究了各种成熟的ETL工具的实现原理，总结了他们的共性，分析了他们的差异。在此基础上，我们借鉴了元数据管理技术的思路。最终决定了通用ETL技术的实现思路——基于元数据管理构建一种工作流方式的ETL工具。基于元数据构建的软件开发模式还是一个比较新鲜的事务。它既不

3、同于软件建模理论，也有别于我们以往的传统开发模式。本文在介绍新型通用ETL技术实现思路的同时也讨论了基于元数据的软件开发模式。【关键词】ETL元数据通用工作流【论文类型】项目开发摘要Title：AStudyonMethodologyofDevelopingERPBasedonComponentsMajor：SoftwareEngineeringName：Supervisor：Signature：AbstractETLtechnologyisthebasicofdatawarehouseanddatamininga

4、pplicati013．Theanalysisresultisunreliablewithouthighqualitydatainforrnation．WeexpectthattheETLtoolstoobtainthecharactersofmulti—source··categoryandmulti—target—category,flexibilityofconverting，easytouseanddevelop，supporttodebugging，easytointegrateintoothersys

5、tem，platformindependency，andetc．TheETLtool，whichcanmeettheserequirementS，willbeapowerfultoolforregulartheenvironmentofdataapp]ication．However,today’SETLtoolsaredefectedindifrerentaspectfromoneproducttoalx'lOther．Hel-iceitisnotsuitableforchoosinganyofthemasthe

6、toolforregulartheenvironmentofdataapplication．OntheWayseekageneralandflexibleETLtoolswestudiedmanymattireETLtools．tellingtheirdiffereneesandconcludingtheircommons．Formoreflexibilitywegotlotsofhelpfromthemetadatamanagementexperience．Finally,based012a11thesekno

7、wledgewebelievethatwehavefotmdawaytothatETLt001擘——DbuildanETLtoolsbasedOilthemetadatasysternbythemeansofworkflow．Softwaredevelopmentpattembasedofbeingbasedonmctadatasystemisanewconcept．Itisdifferentfrombothsoftwaremodelingtheoryandthetraditionaldevelopmentpat

8、ternaswell．InthispaperwediscussedonthisdevelopmentpatternwhileintroducingtheimplementationofthenewlygeneralflexibleETLtools．[KeyWords]ETL：Metadata：General：Workflow[TypeofTh醯]ProjectDevelo