状态监测大数据存储及聚类划分研究

《状态监测大数据存储及聚类划分研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2013年电工技术学报Vol.28Sup.2第28卷增刊2TRANSACTIONSOFCHINAELECTROTECHNICALSOCIETY2013状态监测大数据存储及聚类划分研究1,2111周国亮宋亚奇王桂兰朱永利（1.华北电力大学控制与计算机工程学院保定0710032.国网冀北电力有限公司技能培训中心保定071051）摘要随着输变电设备状态监测的广度和深度不断加强，收集的监测数据越来越多，逐渐形成了智能电网状态监测大数据。然而，如何有效的存储和分析状态监测大数据是大数据在状态监测领域应用的关键问题之一。基于云计算平台并考虑状态监测数据的

2、特点，将监测数据海量小文件组合成大的序列文件，并压缩存储，从而提高存储和处理效率。针对状态监测大数据价值密度低的特点，首先利用分形理论对监测数据降维处理，提取时域和频域特征量，并使用密度聚类算法DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise)对样本数据聚类划分，提取不同聚类的特征数据；然后结合云平台的数据处理能力设计MapReduce并行算法，实现状态监测大数据的聚类划分，从而有助于从大数据中发现有价值的特征量；最后，利用大数据聚类结果更新和丰富样本特征数据。实验结果表

3、明该方法可以有效存储状态监测大数据并对其聚类划分，对提高设备的状态评估及故障诊断水平具有一定辅助作用。关键词：状态监测大数据云存储聚类中图分类号：TM769ResearchofConditionMonitoringBigDataStorageandClustering1,2111ZhouGuoliangSongYaqiWangGuilanZhuYongli（1.NorthChinaElectricPowerUniversityBaoding071003China2.StateGridJibeiElectricPowerCompanyLimit

4、edSkillTrainingCenterBaoding071051China）AbstractInrecentyears,withthepowertransmissionequipmentconditionmonitoringcontinuouslystrengtheninthebreadthanddepth,moreandmoremonitoringdatawerecollected,andgraduallyformedbigdataofsmartgridconditionmonitoring.However,howtoeffective

5、lystoreandanalyzeconditionmonitoringbigdataisakeyissueofbigdataapplyinginpowertransmissionequipmentconditionmonitoringfields.Basedoncloudcomputingplatformandconsideringcharacteristicsofconditionmonitoringdata,monitoringdatawillbecombinedalargemassofsmallfilesintosequencefil

6、eandcompressedstorage,therebyimprovingtheefficiencyofstorageandprocessing.Forconditionmonitoringbigdatalow-densitycharacteristics,firstlyfractaltheorywasusedfordimensionalityreductionmonitoringdata,andcomputingtimedomainandfrequencydomainfeaturequantity,inadditionutilizingD

7、BSCANalgorithmclusteringthesampledataandacquiringdifferentclusterfeaturedata;thenintegratingwithcloudcomputingplatformparalleldataprocessingcapabilitydesignedMapReducealgorithmforclusteringconditionmonitoringbigdata,andcontributingfoundvaluablefeaturequantityfrombigdata;fin

8、ally,usingclusterresultofbigdataupdatedandenrichedsampledata.Experimentalresultssh