欢迎来到天天文库
浏览记录
ID:10926386
大小:6.55 MB
页数:55页
时间:2018-07-09
《ETL系统的仓库任务调度模块的实现---毕业论文.doc》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、本科毕业论文ETL系统的仓库任务调度模块的实现ImplementationofWarehouse-TaskSchedulingModuleofETLSystem姓名:学号:学 院:软件学院系:软件工程专业:软件工程年级:校内指导教师: 校外指导教师:年月摘 要数据仓库作为支持企业决策而出现的一项技术,提供了可以访问决策型数据的集成统一的环境。ETL(Extract,Transformation,Load,即数据抽取、转换、装载)作为数据集成过程的抽象,在整个数据仓库项目实施过程中扮演着重要的角色。
2、据调查统计,实施数据仓库的项目开发团队花费在ETL上的精力占了整个项目的60%至80%。对ETL工具的选择,将对整个数据仓库项目产生重大影响。2008年实现运营商重组后,中国电信行业进入了3G时代。进入新的时代意味着即将面临挑战与竞争。提高企业核心竞争力,关键在于如何充分利用信息资源。中国电信多年的发展中积累了大量的数据,这些数据相对独立地存储在丰富多样的业务系统中,其中包含着客户、用户、产品、销售、运营等方面信息。如何从这些分散,零乱的信息中找到其中的价值信息,为企业的经营决策提供依据,提高企业竞
3、争力成为企业信息化的重要目标。因此,中国电信实施数据仓库项目,对于提高企业综合实力,核心竞争力都有着重要的意义。本文ETL系统背景是中国电信企业的数据仓库项目,通过自主研发,实现数据的抽取、转换与装载。系统架构分为前台开发系统与后台ETL任务调度系统。前台系统满足数据仓库项目的开发需求,开发人员可以进行数据转换脚本的开发;后台系统完成ETL任务的自动调度,实现数据不间断的从源系统进入数据仓库中存储;系统设计提供对ETL任务调度的监控功能,可以查看任务执行状况,有效的定位任务出错原因,并做出相应的处理
4、。ETL系统具有以主要特点:1.前台采用B/S架构,符合J2EE规范,系统移植性好,部署容易;2.自定义脚本语言,支持SQL语言,并提供内置参数,方便数据转换的脚本编写;3.系统前台与后台耦合性低,开发人员无须面对复杂的后台调度;4.系统核心部分调度功能,使用存储过程开发,充分利用数据库性能,ETL效率高。关键字:ETL;数据仓库;电信行业ImplementationofWarehouse-TaskSchedulingModuleofETLSystemAbstractDatawarehouseisa
5、technologythatsupportsanenterprisetomakedecision.Mostlyitisanintegratedanduniformenvironmentthatisprovidedtoaccessanalyticaldata.Astheabstractoftheprocessofintegratingdata,ETL(Dataextract,transformation,loading)playsaveryimportantroleinthewholeprocesso
6、fimplementingadatawarehouseproject.Asthesurveyreveals,ittakesup60to80percenttimeofentireDWprojecttodevelopandcarryoutETL.Therefore,howtochooseanETLtoolwillmakeagreatimpactontheDWproject.TheChinatelecommunicationsindustrywasreorganizedin2008.Atthesameti
7、me,3Gtimesbeganinthetelecommunicationsindustry.FortheChinaTelecom,anewroundofchallengeandcompetencehasbegun.Forthepasttenyears,theChinaTelecomhasaccumulatedalargenumberofbusinessesinformation.Tosearchindividualsystemsforvaluableinformationtosupportente
8、rprisetomakedecisionisthemaingoalofenterpriseinformationalization.So,carryingoutTheDataWarehouseProjectcontainsimportantsignificanceinstrengtheningthecomprehensivestrengthandcorecompetenceoftheChinaTelecom.TheChinaTelecomDWProjectistheb
此文档下载收益归作者所有