数据挖掘离群点检测算法及其在电力设备故障检测中的应用

《数据挖掘离群点检测算法及其在电力设备故障检测中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、密级：保密期限：邀貪Ａ瘵卻ｊ翁硕士学位论文義题目：数据挖掘离群点检测算法及其在电力设备故障检测中的应用学号２０１４１４０１８０：姓名：冯玉伟专业：电子与通信工程导师：孙文牛学院：信息与通信工程学院２０１７年２月２０日中国■北京密级：保密期限：却ｔ大綮硕士学位论文ｍ题目：数据挖掘离群点检测算法及其在电力设备故障检测中的应用学号：２０１４１４０１８０姓名：冯玉伟专业：电子与通信工程？导师？孙文生学院：信息与通信工

2、程学院２０１７年２月２０日独创性（或创新性）声明本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研宄成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料一。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。一。申请学位论文与资料若有不实之处，本人承担切相关责任＾＇本人签名：１｛７日期：ｙｏ门、ｂ＇＾＾＾关于论文使用授权的说明、：本人完

3、全了解并同意北京邮电大学有关保留使用学位论文的规定，即北京邮电大学拥有以下关于学位论文的无偿使用权：，具体包括学校有权保留并向国家有关部门或机构送交学位论文，有权允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，有权允许采用影印、缩印或其它复制手段保存、汇编学位论文，将学位论文的全部或部分内容编入有关数据库进行检索。（保密的学位论文在解密后遵守此规定）－Ｖ１本人签名：）日期：ｌｙｉｌ，＾［导师签名：＾曰期：ｚｗ，７数据挖掘离群点检测算法及其在电力设备故障检测中的应用摘要我们生

4、活在数据爆炸的时代，随着社会经济和互联网的快速发展，人们在社会生活的过程中产生海量数据。数据挖掘的诞生就是为了从这些海量数据中发掘出有价值的信息，而近年来兴起的云计算又为数据挖掘注入了新的发展领域。电力行业作为支持国民经济的基础性行业，其对于国民经济的重要性不言而喻，对电力数据进行数据挖掘的需求迫在眉睫。然而目前对电力行业的数据挖掘和云计算应用研究还处于起步阶段。基于上述的背景，本文对数据挖掘及其在电力行业的应用进行研究。针对电，当设备发生故障时力设备故障检测问题，其运行数据与正常数据有明显差异。一特性利用这，提出对电

5、力设备数据进行离群点挖掘。本文首先介绍了离群点的定义和分类，研究相关的离群点算法，并比较算法的优缺点。然后对本文使用的分布式计算平台Ｈａｄｏｏｐ和Ｓｐａｒｋ的架构和核心概念进行研究和介绍。接着，本文对基于聚类的离群点检测算法进行深入的分析和研宄，并对算法的聚类阶段和离群点检测阶段分别进行了研宄和优化。对于聚类算法，采用将Ｃａｎｏｐｙ预聚类－Ｍｅａｎｓ聚类算法结合的策略－算法和Ｋ，避免了ＫＭｅａｎｓ算法的输入参数需要人工指定和初始聚类中心随机选取的弊端，提高了算法的稳定性和效率；对于离群点检测算法，对ＦｉｎｄＣＢＬＯＦ算法

6、进行优化，将聚类中心的Ｋ近邻引入到离群度计算中，减少了算法的偶然性误差，提高了算法的稳定性。然后，本文对优化后的离群点检测算法进行了分布式实现的研宄，利用ＨａｄｏｏｐＨＤＦＳ和ＳｐａｒｋＲＤＤ编程接口对算法进行分布式实现，并给出算法分布式实现的设计思路和伪代码描述。最后对离群点算法进行分布式环境下实验，对实际的电力设备数据进行离群点挖掘。实验，并对不同规模的数据集进行多次实验和比较结果表明，本文研宄的离群点检测算法可以有效地检测出电力设备故障，并且通过分布式实现，借助分布式计算框架有效地降低了程序处理时间，使之能够有效

7、地处理大数据集。本文的研一种快速究为电力设备故障提供了、有效、高扩展性的检测方案，应用前景广阔，具有很好的实用价值。关键词：数据挖掘离群点算法分布式计算设备故障检测Ｓｐａｒｋ框架ＲＥＳＥＡＲＣＨＡＮＤＡＰＰＬＩＣＡＴＩＯＮＯＦＤＡＴＡＭＩＮＩＮＧＯＵＴＬＩＥＲＤＥＴＥＣＴＩＯＮＡＬＧＯＲＩＴＨＭＩＮＰＯＷＥＲＥＱＵＩＰＭＥＮＴＦＡＵＬＴＤＥＴＥＣＴＩＯＮＡＢＳＴＲＡＣＴＷｅｌｉｖｅｉｎａｎｅｒａｏｆｅｘｌｏｓｉｖｅｄａｔａｒｏｗｔｈｅｏｌｒｏｄｕｃｅｈｕｅａｍｏｕｎｔｏｆｄａ

8、ｔａｉｎｐ，ｅｇｐｐｐｇｄａｉｌｙｓｏｃｉａｌｌｉｆｅｗｈｉｌｅｔｈｅｓｏｃｉａｌｅｃｏ