生产过程数据仓库ETL模块的研究与开发

《生产过程数据仓库ETL模块的研究与开发》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华北电力人学硕士学位论文摘要实时／历史数据库为电力企业建立了海量的生产过程数据资源平台，挖掘和应用蕴含在这些数据中的丰富信息和规律具有重要的研究意义和应用价值。采用数据仓库技术组织这些数据，进行数据挖掘是最有效的分析方法。而在数据仓库建立过程中，数据的抽取、转换和加载(ETL)模块是重要的基础，在整个数据仓库建设过程中占据约80％的工作量。目前，支持数据仓库的大型关系型数据库均有相应的ETL模块，但它们还不支持对实时／历史数据库中的数据的处理；另外，生产过程数据有着自身特点，处理方法不同于对普通数据的处理方法。因此研究基于生产过程的ETL模

2、块的开发是非常有必要的。本文首先介绍了数据仓库的概念和特点，以及ETL模块的主要功能。接着针对基于生产过程数据的特点，研究并给出了生产过程历史数据的清洗、转换、抽取的关键算法。在此基础上，设计并开发了面向实时／历史数据库的ETL应用功能软件模块。最后，将本文开发的ETL模块应用于某600MW燃煤机组的运行工况分析数据仓库的建立中，并展示出部分结果。关键词：实时／历史数据库，SIS系统，数据仓库，ETL模块ABSTRACTThereal-time／historicaldatabasehasbuiltplentifulproductionpro

3、cessdataresourcesplatformfortheelectricpowerenterprise，andithasimportantresearchsignificanceandapplicationvalueminingandtheapplyingtheinformationembeddedinthesedata．Itisthemosteffectivemethodminingandorganizingdata，adoptingtechnologyofdatawarehouse．However,intheprocessofes

4、tablishingthedatawarehouse，extraction，transformationandloading(ETL)isthemomentousfoundation，accountingforabout80％oftheworkloadofwarehouse．Atrelationaldatabasesdatabuildingthedatapresent，mostlarge-scalesupportingwarehousehavecorrespondingETLmodules，buttheydon’tsupportproces

5、singthedataofreal-time&historicaldmabase．Besides，theproductionprocessdatahasitsowncharacteristics，theprocessingmethodofwhichiscompletelydifferentfromtheoneofordinarydata．So，itisimperativetodeveloptheETLmodulesbasedontheproductionprocess·I华北电力人学硕+学位论文Thisarticle，firstly,int

6、roducedtheconceptsandcharacteristicsofdatawarehouse，andthemainfunctionsofETLmodules．Then，forthecharacteristicsofdatabasedonproductionprocess，thisarticleresearchedandprovidedsomekeyalgorithmsforthehistoricaldata’Scleaning，conversion，andextraction．Basedonthat，ETLapplicationf

7、unctionsoftwaremodulewasdesignedanddevelopedforreal-time&historicaldatabase．Finally,theETLmoduledevelopedinthispaperwasappliedinbuildingthedatawarehouseofanalysisofoperationconditionfora600MWcoal-firedunit，andsomeresultswasalsolisted．LiNa(ControlTheoryandControlEngineering

8、)DirectedbyProf．HuangXiaobinKEYWORDS：real-time／historicaldatabase，SISsystem，datawarehouse