资源描述：
《水闸安全监测数据挖掘中的数据预处理方法_于国卿》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第8卷第4期南水北调与水利科技Vol.8No.42010年8月South-to-NorthWaterTransfersandWaterScience&TechnologyAug.2010doi:10.3724/SP.J.1201.2010.04115水闸安全监测数据挖掘中的数据预处理方法1,21,21,2于国卿,汪自力,顾列亚(1.黄河水利科学研究院,郑州450003;2.水利部堤防安全与病害防治工程技术研究中心,郑州450003)摘要:为消除水闸监测数据集含有的冗余、噪声、不完整和不一致的情况,综合数据挖掘和数据仓库中的数据准备过程,提出了一种以水闸监测数据挖掘为应用目的的数据
2、预处理方法。从确定水闸监测数据挖掘任务入手,将预处理过程归纳为输入、处理和输出三个阶段,对数据抽取、清洗、集成、转换、规约和装载等操作方法进行了分析,给出了监测数据预处理的流程和具体操作。以黄河水闸为例,应用上述方法进行了监测数据的预处理和数据挖掘,结果表明,提出的预处理方法能够构建适于挖掘的数据集,提高数据质量和挖掘效率。关键词:数据挖掘;数据预处理;水闸;安全监测中图分类号:TV698;TP206文献标识码:A文章编号:1672-1683(2010)04-0115-04MethodofDataPreprocessinginDataMiningofSluicesSafetyMo
3、nitoringYUGuo-qing1,2,WANGZi-li1,2,GULie-ya1,2(1.YellowRiverInstituteofHydraulicResearch,YRCC,Zhengzhou450003,China;2.ResearchCenteronLeveeSafety&DisasterPrevention,MWR,Zhengzhou450003,China)Abstract:Toeliminatetheredundancies,noises,incompletion,andinconsistenciesinthedatasetofsluicemonitori
4、ng,amethodofdatapreprocess-ingtoimplementdataminingisproposedbyintegratingthedatapreparationprocessindatamininganddatawarehouse.Themethodcanbegroupedintothreephases,input,processandoutput.Itbeginswithdeterminingthetasksofsluicemonitoringdatamining,includesdataextrac-tion,cleansing,integration
5、,conversion,reduction,andloadtechnologies.ThemethodisusedinthemonitoringdatapreprocessinganddataminingofsluicesalongtheYellowRiver.Theresultsshowthatthepreprocessingmethodproposedcanbeusedtobuilddatasetsfordatamining,andtoimprovethedataqualityanddataminingefficiency.Keywords:datamining;datapr
6、eprocessing;sluice;safetymonitoring当前,水闸安全监测数据正在由传统的人工采集转变为系统中的应用进行论述,并运用数据挖掘技术分析了某大坝自动化采集方式,数据的存储介质也由纸质转变为包括数据垂直位移测值突变的物理成因。宋小刚等[5]设计、构建了大[6]库在内的各类数字化形式。经过积累,部分水闸的监测数据坝安全监测数据仓库系统。王超等建立了丹江口大坝监测已达到了相当的规模。数据挖掘(DM,DataMining)技术能数据仓库,并对数据挖掘的关键技术进行了研究。够分析处理具有多维、非线性的水工监测信息,挖掘各影响因上述文献对数据挖掘在监测资料分析中的应
7、用进行了研[1]究,提出了数据挖掘应用的思路和方法,然而,系统地从数据素对水工建筑物的影响效应和规律。因此,以各类与监测指标相关的数据库为基础,开展水闸安全监测数据挖掘研究,挖掘角度分析和解决监测资料问题的成果较少,在监测数据[2]挖掘中的数据预处理方法、技术和具体实现等方面仍需要进为水闸安全的分析评估和决策支持提供了新思路和可能途径。金永强、包腾飞[3]利用数据挖掘技术分析处理大坝监测行深入研究。信息,挖掘各影响因素对大坝安全的影响效应和规律,建立了与水库大坝相比,水闸监测数据
