etl在isbn中心业务系统中的研究和应用

《etl在isbn中心业务系统中的研究和应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、北方工业大学硕士学位论文摘要本文介绍了ETL原理、国内外数据转换技术以及ETL工具发展等内容。在详细分析了数据转换理论和现有的数据转换技术后，指出了现有工具的不足之处。本文结合ISBN中心业务系统的实际需求，提出了以XML技术为基础的ETL工具解决方案，在一定程度匕解决了传统ETLI具对数据库服务器造成的负载问题，均衡了各服务器的利用率。本文根据实际项目的具体需求，采用XML为主要技术手段，建立了如下的模型：异构数据库元数据的获取模型、数据转换和清洗任务流定义模型、数据上载任务调度模型等。作者研究了数据转换过程中需要解决的技术问题，并以前述模型为基础，开发了对应ETL四个阶段的

2、数据转换工具，通过该工具能处理JDBC所支持的数据库、EXCEL文件，以及基于多种异构数据库提取的数据之间的清洗与转换。使用者可以自己设计转换流程、定义转换规则、定时调度转换任务，该软件具有较好的通用性和灵活性。作者用此工其进行过多种数据转换的测试，效果较好。作者在研究、开发与应用的实践中，总结出了进一步改进和完善浚软件的方法，这是作者下一步要做的工作。关键字：数据转换、异构数据库、数据集成、元数据、任务流北方工业大学硕士学位论文AbstractThispaperin打oducesETLprinciple，datatransformationtechnology,thedeve

3、lopmentstatusoftransformationtools．Afteranalyzingthedataintegrationtheoryandtechnology,thispaperhaspointedouttheweakpointoftheexistingt001．ThispaperproposesETLtoolsolutionbasedonXMLtechnology,whichaccordingt0theacmatdemandofISBNcenter’ssystemThesolutionpartlytransfersthelargeloadingpressureo

4、fexistingdatabaseserver,solvestheloadingproblemofthedatabaseserver,andbalancesutilizationratioofeveryservertoacerlainextent．Accountingtothenewdemandthattheactualprojectputsforward，thispaperadoptsXMLasthemaintechnologicalmeans，andsetsupthemodelsuchaSthemodeltoobtainthemetadataofheterogeneousd

5、atabase，themodelbasedonXMLlanguagewhichusedtotransformandcleandataandthetaskschedulingmodeltoexecutetheworkingflow．Theauthorhasstudiedthetechnologicalproblemtobesolvedinthetransformingcourse．Basedollthemodelmidinthepast，theauthordevelopstheintegratedtoolsfordatawhichcorrespondingthefourstage

6、sofETLtools，thistoolCallsuppoRRDBMS，Excelfileanddatafrommulti—souI∞．UsercandesigntrarBformflowandtlm：lsformruleshimseIf．Authorhadtesttiffstoolwithmultipledatasollrceandgiveaexamplehowthedatatobetransformed．Attheendofthepaper,theauthorthinkswhatneedst0dointhefllmler．Keywords：ETL，Heterogeneous

7、Database，DataIntegration，Metadata,WorkingFlow2独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得些直王、业盍堂或其他教育机构的学位或证书面使用过的材料。与我一同J二作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：卫謇签字日期：出年6月g1=1学位论文版权使用授权书本学位论