数据集成环境下的etl工具设计及实现

《数据集成环境下的etl工具设计及实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要摘要本文研究了数据集成环境下的ETL工具设计与实现技术，重点探讨了建立在Web服务基础上的ETL实现方式及人工智能技术在数据清洗方面的应用，并作了改进。本文首先介绍ETL的概念、研究现状；接着概述ETL涉及的主要的关键技术；第三部分提出基于WebServices的ETL原型并对ETL主要模块进行了详细设计；在第四部分详细介绍部分关键模块的改进细节与实现技术。本文的特色之一是将ETL工具建立在Web服务基础上，在元数据的映射方面使用了直接映射的方法，从而增强了ETL工具的适应性；本文的另一特色

2、在于在数据清洗模块中引入人工智能处理技术，并对判定树方法在空缺值处理方面的应用、相似重复值的多趟近邻检测算法及位置编码检测算法进行了改进和优化，异常值的检测则首先对数据进行分类，并在此基础上根据统计学原理来判断数值异常，利用基于业务规则库的检测方法来判断其它属性列异常，并对两种判断方法所得的结果进行合并。空缺值的改进使得程序自动化程度得到提高；异常值检测由于采用两种方法，使检测效果得以改善；实验结果表明相似重复值检测算法方面的改进在保证查全率的同时有效地提高了检测的准确率与效率，并增强了检测的稳定

3、性。本文使用Ajax技术建立ETL客户端，避免了B/S架构中固有的频繁刷新问题，同时由于Ajax采用异步技术与服务器通信，缩短了系统的响应时间，减少用户操作的等待时间，从而改善了用户与系统的交互体验。关键词：ETL，Web服务，人工智能，AjaxII摘要AbstractThepaperworkedovertheETLtoolsofdataintegration,putemphasisontheETLmodebasedonWebServicesandHumanIntelligence’sapplic

4、ationindatacleanfield.ThepaperfirstlyintroduceETL’sconceptionandits’studystatusquo;andthendescribebrieflysomekeytechnologyofETL;inthethirdpart,thepapershowthedetaildesignofsomeETL’smodule;anditintroducekeymodule’sameliorationandrealizationindetailinit

5、s’fourthpart.OnecharacteristicofthepaperissettinguptheETLbasedonWebServicesanditsmetadatarulebasedondirectnessmaptoimproveits’adaptability.AnothercharacteristicofthispaperistheapplicationofHumanIntelligenceinthedatacleaningprocess.Thepaperhasrevisedth

6、edecisiontreearithmetictoimproveit’sautomatism,themulti-passsorted-neighborhoodandpositioncodingarithmetichavealsobeenrevisedandimprovedthedetectingprecision,effectionandautomatismofapproximatelyduplicatedrecordscleaningaccordingtotheexperiment.Accord

7、dingtothedetectionofabnormaldata,thepaperclassifiedthedatafirstly,andthendetectstheabnormaldatabasedonthestatisticstheoryandtheoperationruledatabase,itcombinestheresultsofdetectingandgetbettereffection.AndthepaperhassetuptheETLClientmodulebasedonAjaxt

8、echnologytoimprovetheclient’smutualexperience.Keywords:ETL,WebService,HumanIntelligence,AjaxIII摘要原创性声明本人声明兹呈交的学位论文是本人在导师指导下完成的研究成果。论文写作中不包含其他人已经发表或撰写过的研究内容，如参考他人或集体的科研成果，均在论文中以明确的方式说明。本人依法享有和承担由此论文所产生的权利和责任。学位论文作者签名：日期：学位论文版权使用授权声明本人同意授权华侨大学有