企业数据仓库建设中ETL方案设计与实现

《企业数据仓库建设中ETL方案设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要企业信息系统在运行的过程中会产生大量的数据和信息，如何分析和处理这些数据以获得对企业有用的决策信息越来越成为系统开发人员关心的问题。数据仓库所要研究和解决的问题就是如何从数据库中获取信息。因此，如何为企业构建一个先进、完善的数据仓库系统，从而提升核心竞争力已经成为企业发展的当务之急。本文结合北京朝批商贸有限公司数据仓库项目的实例，从应用角度分析并解决了企业数据仓库从需求分析、建模到实施的关键技术。同时阐述了如何设计并实现一个灵活且具有较强通用性ETL(Extract、TransformandLoad，数据提取、转换和装载)工具来完成数据仓库的数

2、据增量装载任务。数据仓库是由企业的业务和管理驱动的，用户对业务和管理的需求是促进数据仓库系统建设的关键因素。通过对业务需求的深入调查，本文全面准确的总结了朝批企业数据仓库建设的需求，即要满足各级员工对企业的财务、推销、销售、库存、外欠等大量运营指标的多角度的分析需求。合理而完备的数据模型是用户业务需求的体现，是数据仓库成败的核心技术因素。本文论述了数据仓库的建模方法，重点阐述了如何采用实视图与虚视图结合的方式设计事实表，达到查询效率与系统性能的兼顾；同时提出了通过建立对照表和编码表的关联，来实现数据在不同维层次和维路径上的汇总查询。ETL是实现数据

3、仓库的关键环节。以实现数据仓库的ETL过程为出发点，本文设计并实现了一个通用的ETI．工具，着重论述了其体现宏替换思想的SQL参数传递机制和具有创造性的能自动实现数据的增量更新的数据处理机制。最后，本文针对ETL实施环节，分别针对数据的抽取，转换和装载问题，提出了一套行之有效的实施策略，重点分析了如何运用上述的ETL工具，进行数据转换逻辑和聚集计算逻辑的设计。朝批数据仓库实旌近一年，取得了令人满意的应用效果。ETL工具担负了每天自动增量装载数据仓库数据的任务，运行良好。企业数据仓库的建立为企业各级人员提供了全面准确的分析数据，在企业的业绩分析、员工

4、的绩效考核和物流成本核算方面已经发挥了不可替代的作用。关键词数据仓库：ETL；维度建模；星型模型AbstractAbundantdataandinformationtendtobeproducedandaccumulatedfromtfleEnterpriseinformationsystem．Thus，systemdevelopershaveconcentratedmoreattentiononprovidingthekeypeopleintheenterprisewithaccesstowhateverlevelofinformationnee

5、dedfortheenterprisetosurviveandprosperinanincreasinglycompetitiveworld．Howtoestablishaperfectdatawarehousesystemhasbecomeallurgentaffair,BasedonthecasestudyofBeijingChaopicommercialandtradingOrganization,ourresearchapproachestheseproblemsincludingrequireanalysis，datawarehousem

6、odelingandETLprocessimplementationfromanapplicationperspective+OneoutcomeofthisworkisacompactETLapplicationresponsiblefortoextractdatafromoneormoredatasources，combineandtransformthatdataintoaformatwhichiscompatiblewiththedatawarehousesystem．andloadthatdataintothosesystems．Apro

7、perdatamodelwhichisusedtopresentsuser’sbusinessdemandisthecrucialtechnology．Inthispaper'wecompletelysummarizethebusinessdemandofChanpidatawarehousinganddescribeitsmulti—dimensionalmodelingmethods．WeadoptbothMaterializedviewandgeneralViewforfacttabledesign，andproposeamethodtode

8、finedimensionaltablesinordertorealizedifferentnavigationaldri