etl技术在实现数据分析系统中的应用研究

《etl技术在实现数据分析系统中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：10255学号：2081098ETL技术在实现数据分析系统中的应用研究AnApplicationStudyforETLTechniquesinRealizationofDataAnalysisSystem学科专业：计算机软件与理论作者：薛娟指导教师：苏厚勤答辩日期：2011年1月2010年12月大学学位论文原创性声明本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品及成果的内容。论文为本人亲自撰写，我

2、对所写的内容负责，并完全意识到本声明的法律结果由本人承担。学位论文作者签名：召屯b日期：2．-9l7年1月侈日声大学学位论文版权使用授权书学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密口，在——年解密后适用本版权书。本学位论文属于不保密囱。学位论文作者签名：嚼邶日期：2pl／年f月序日指导教师签名：彳，豫勘Et期：争护，／年，月‘j日摘要

3、数据仓库已成为解决金融行业中大量业务数据处理、汇总和分析的一种重要技术，而ETL(Ex仃act．Transform．Load)过程在数据仓库的应用中起着关键作用。利用ETL过程可以把各个孤立的异构数据源中的业务数据抽取、转换并装载到数据仓库中，为基于数据仓库的决策分析应用提供高质量的数据。本文作者的主要研究工作如下：1)研究了ETL过程中关于数据抽取，数据转换和数据加载的相关技术与方法。2)使用J2EE实现了一个具有并行处理能力、支持多种数据源、任务配置灵活和易扩展的ETL过程。3)针对金融行业数据量大的特点，通过在ETL过程中使用集群、负载均衡和Orac

4、leRAC(RealApplicationCluster)三种并行处理技术提高系统性能。4)根据证券风险控制系统中提出的业务需求，给出集群环境下ETL的系统架构，以及ETL系统中关于数据抽取，数据转换和任务管理主要模块的设计方案；5)对负载调度，任务管理和调度执行的实现进行了详实描述，并给出主要数据模型和关键类。本文作者参与设计和实践的ETL系统已成功上线，运行平稳，处理效率显著提高。实践证明结合并行处理和集群负载均衡技术是提高ETL性能的一种较好和可行的技术解决方案。关键词：数据仓库，ETL，并行处理，集群，负载均衡AbstractThedataware

5、househasbecomeanimportantsolutiontothelargefinancialbusinessdataprocessing，aggregationandanalysis，andETL(Extract-Transform—Load)processplaysakeyeffectinthedatawarehouseapplication．ETLprocesscouldextractandtransformisolateandheterogeneousdatasourcesandloadthemintothedatawarehouse，i

6、tsmainfunctionsarecleanness，standardizationandaggregationofvarioustypesofbusinessdata，thenprovidinghigh—qualitydatafordatawarehouse-baseddecisionandanalysis．Theauthor’Sresearchworkandinnovationcanbesummarizedasfollows：1)Researchedtherelatedtechnologiesandmethodsofthedataextraction

7、，dataconversionanddataloadingintheETLprocess．2)ImplementedtheETLprocesshavingparallelprocessingcapability,supportingformultipledatasources，flexiblyconfiguringthetaskandeasilyexpandingtheETLfunctions；3)Accordingtothecharacteristicsoflargeamountdatainthefinancialsector,proposedtouse

8、clustering，loadbalancing，andOracl