毕业设计（论文）-提高数据仓库中数据质量的研究

《毕业设计（论文）-提高数据仓库中数据质量的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、湖南大学毕业设计(论文)第40页HUNANUNIVERSITY毕业设计(论文)设计论文题目：提高数据仓库中数据质量的研究学生姓名：学生学号：专业班级：软件开发班学院名称：软件学院指导老师：学院院长：2008年5月20日湖南大学毕业设计(论文)第40页提高数据仓库中数据质量的研究摘要数据仓库是一个面向主题的、集成的、相对稳定的、能够反映历史变化并且能够支持管理决策的数据的集合。维护数据仓库中数据的正确性是非常重要的环节，而ETL是构建数据仓库的重要组成部分，要占据60%左右的工作量。提高数据仓库中的数据质量有利于保障数据仓库的可

2、靠性，也有利于企业长期的总结和应用数据。提高数据质量的方法很多，鉴于本项目在实际工程应用中的经验总结和实践积累，本文主要侧重于利用ETL调度以及校验的方式来提高数据仓库中的数据质量。首先，利用ETL调度原理实现数据的自动化调度，使数据成为一个流动的数据流，数据所在的数据库作为ETL流的起点，保存最终高质量数据的数据仓库作为ETL数据流的终点。其次，对于已经形成ETL数据流的数据生成流实例信息，对完成ETL流程处理的数据构造历史信息，从而保证能够对ETL流进行监控。再次，构造ETL流程的处理逻辑，这是构造高质量数据的核心部分，根

3、据实际的经验构造自动化的校验程序，使数据流流过时校验程序能够纠正错误数据，最终达到获得高质量数据的目的。最后，经过EMC项目的实施情况证明，非法数据在以ETL流的形式流经校验程序时都能够按照提前设定得到处理，保证了数据仓库中数据的稳定性。关键词：ETL，EMC（ETL管理中心），数据仓库湖南大学毕业设计(论文)第40页TheResearchinImprovingtheQualityofDataintheDataWarehouseAbstractAuthor:GaoZhongshanTutor:ShenYuxiangDataWa

4、rehouseisadatacollectionwhichissubject-oriented,integrated,andrelativelystable.Itcanreflectthechangesofhistoryandsupportthemanagementdecision.Itisanimportantsegmenttomaintaintheaccuracyofthedatawarehouse.However,ETLisanimportantparttobuilddatawarehouseandoccupyabout

5、60percentoftheload.Theimprovementofthequalityinthedatawarehousehelpstoguaranteethereliabilityandalsohelptheenterprisetosummarizeandusethedataforalongperiodoftime.Therearemanymethodstoimprovethequalityofdata.However,intheviewoftheexperiencesummaryandpracticeaccumulat

6、ioninthepracticalapplication,thepapermainlyfocusesontheETLdispatcherandwayofchecktoimprovedataqualityofdatawarehouse.Firstofall,theautomationofdatamanagementwhichisrealizedbyETLprinciplemakethedataintoadatastream.,thedatabasewherethedataexistsbecomeasstartingpointof

7、ETL,savingthedatawarehousewithultimatehigh-qualitydataastheendofETL.Second,forthedatawhichtheETLdataflowhasbeenformedtogenerateexample,forthedatawhichcompleteETLprocessesstructuretohandlinghistoricalinformation,thusensuringthattheETLflowcanmonitoring.Third,buildingt

8、heprocessinglogicofETLtectonicprocessesisthecoreofconstructinghigh-qualitydata,constructingtheautomatedcalibrationproceduresbasedontheactu