ETL系统的仓库任务调度模块的实现---毕业论文.doc

《ETL系统的仓库任务调度模块的实现---毕业论文.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、本科毕业论文ETL系统的仓库任务调度模块的实现ImplementationofWarehouse-TaskSchedulingModuleofETLSystem姓名：学号：学　　院：软件学院系：软件工程专业：软件工程年级：校内指导教师：　校外指导教师：年月摘　要数据仓库作为支持企业决策而出现的一项技术，提供了可以访问决策型数据的集成统一的环境。ETL(Extract，Transformation,Load,即数据抽取、转换、装载)作为数据集成过程的抽象，在整个数据仓库项目实施过程中扮演着重要的角色。

2、据调查统计，实施数据仓库的项目开发团队花费在ETL上的精力占了整个项目的60％至80％。对ETL工具的选择，将对整个数据仓库项目产生重大影响。2008年实现运营商重组后，中国电信行业进入了3G时代。进入新的时代意味着即将面临挑战与竞争。提高企业核心竞争力，关键在于如何充分利用信息资源。中国电信多年的发展中积累了大量的数据，这些数据相对独立地存储在丰富多样的业务系统中，其中包含着客户、用户、产品、销售、运营等方面信息。如何从这些分散，零乱的信息中找到其中的价值信息，为企业的经营决策提供依据，提高企业竞

3、争力成为企业信息化的重要目标。因此，中国电信实施数据仓库项目，对于提高企业综合实力，核心竞争力都有着重要的意义。本文ETL系统背景是中国电信企业的数据仓库项目，通过自主研发，实现数据的抽取、转换与装载。系统架构分为前台开发系统与后台ETL任务调度系统。前台系统满足数据仓库项目的开发需求，开发人员可以进行数据转换脚本的开发；后台系统完成ETL任务的自动调度，实现数据不间断的从源系统进入数据仓库中存储；系统设计提供对ETL任务调度的监控功能，可以查看任务执行状况，有效的定位任务出错原因，并做出相应的处理

4、。ETL系统具有以主要特点：1.前台采用B/S架构，符合J2EE规范，系统移植性好，部署容易；2.自定义脚本语言，支持SQL语言，并提供内置参数，方便数据转换的脚本编写；3.系统前台与后台耦合性低，开发人员无须面对复杂的后台调度；4.系统核心部分调度功能，使用存储过程开发，充分利用数据库性能，ETL效率高。关键字：ETL；数据仓库；电信行业ImplementationofWarehouse-TaskSchedulingModuleofETLSystemAbstractDatawarehouseisa

5、technologythatsupportsanenterprisetomakedecision.Mostlyitisanintegratedanduniformenvironmentthatisprovidedtoaccessanalyticaldata.Astheabstractoftheprocessofintegratingdata,ETL(Dataextract,transformation,loading)playsaveryimportantroleinthewholeprocesso

6、fimplementingadatawarehouseproject.Asthesurveyreveals,ittakesup60to80percenttimeofentireDWprojecttodevelopandcarryoutETL.Therefore,howtochooseanETLtoolwillmakeagreatimpactontheDWproject.TheChinatelecommunicationsindustrywasreorganizedin2008.Atthesameti

7、me,3Gtimesbeganinthetelecommunicationsindustry.FortheChinaTelecom,anewroundofchallengeandcompetencehasbegun.Forthepasttenyears,theChinaTelecomhasaccumulatedalargenumberofbusinessesinformation.Tosearchindividualsystemsforvaluableinformationtosupportente

8、rprisetomakedecisionisthemaingoalofenterpriseinformationalization.So,carryingoutTheDataWarehouseProjectcontainsimportantsignificanceinstrengtheningthecomprehensivestrengthandcorecompetenceoftheChinaTelecom.TheChinaTelecomDWProjectistheb