基于hadoop和mahout的k-means算法设计与实现

《基于hadoop和mahout的k-means算法设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：密级单位代码１０１５１ＵＤＣ：＠乂是洛事乂学Ｖ〇．．．全日制学术型硕±研究生学位论文ＭａｈｏｕｔＫ－Ｍｅａｎｓ基于Ｈａｄｏｏｐ和的算法设计与实现王继重？ｔ０指导教师赵子祥教授工学硕±？申请学位类别，学科（专业）名称计算机科学与技术学位授予单位大连海事大学２０１６年３月分类号密级ＵＤＣ单位代码１０１５１大连海事大学硕壬学位论文ａｄｏｏＭａｈｏｕ－基于Ｈｐｔ的ＫＭｅａｎｓ算法

2、和设计与实现王继重指导教师赵子祥职称教授学位授予单位大连海事大学申请学位类别工学硕±学科（专业）计算机科学技术论文完成日期２０１６年３月答辩日期２０１６年３月答辩委员会主席Ｋ－ＭｅａｎｓＡｌｇｏｒｉｔｈｍＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎＢａｓｅｄｏｎＨａｄｏｏｐａｎｄＭａｈｏｕｔＡ化ｅｓｉｓＳｕｂｍｉｔｔｅｄ化ＤａｌｉａｎＭａｒｉｔｉｍｅＵｎｉｖｅｒｓｉｔｙＩｎａｒｔｉａｌｆｕｌｆｉｌｌｍｅｎｔｏｆ化ｅｒｅｕｉｒｅｍｅｎｔｓｆ

3、ｏｒｔｈｅｄｅｒｅｅｏｆｐｑｇＭａｓｔｅｒｏｆＥｎｉｎｅｅｒｉｎｇｇｂｙＷａｎＪｉｚｈｏｎｇｇＣｏｍｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏ（ｐｇｙ）ＴｈｅｓｉｓＳｕｐｅｒｖｉｓｏｒ：ＰｒｏｆｅｓｓｏｒＺｈａｏＺｉｘｉａｎｇＭａｒ２０１６大连海事大学学位论文原创性声明和使用授权说明原创巧声明本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成＂＂－Ｍｅａｎｓ算法设计与实现果，撰写成硕±学位论文基于Ｈａｄｏｏｐ和Ｍａｈｏｕｔ的Ｋ。除论文中己经注明引用的内容外

4、，，对论文的研究做出重要贡献的个人和集体均己在文中明确方式标明。本论文中不包含任何未加明确注明的其它个人或集体己经公开发表或未公开发表的成果。本声明的法律责任由本人承担。学位论文作者签名：．学位论文版权使用授权书本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学位论文的规定：，即大连海事大学有权保留并向国家有关部口或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论

5、文。同意将本学位论文收录到《中国优秀博硕±学位论文全文数据库》中国学术期刊（光盘版）电子杂志社）、《中国学位论文全文（数据库》中国科学技术信息研究所等数据库中，并Ｗ电子出版物形式出版发行（）和提供信息服务。保密的论文在解密后遵守此规定。：□在解密后适用本授权书。本学位论文属于保密年＂＂＂不保蜜必（请在Ｗ上方框内打Ｖ）论文作者签名扛踩导师签名：亩Ａ气＼曰期：年月曰乃文＾）／｜５中文摘要摘要，互联网上的数据量与日俱增随着计算机技术的进步，从海量的数据中挖掘有价值的信息显得非常重要。单机在处理海量

6、数据时存在计算能力不足、存储空间有限和内存太小等问题，而将传统的算法迁移到Ｈａｄｏｏｐ平台，经过并行化改进可ｔＵ有效的解决该问题。本文搭建的是基于Ｈａｄｏｏｐ和Ｍａｈｏｕｔ的实验平台。Ｈａｄｏｏｐ和Ｍａｈｏｕｔ都是ａ一Ａｐｃｈｅ下开源项目。Ｈａｄｏｏｐ是种分布式系统框架，Ｍ址ｏｕｔ是云平台上的数据挖掘领域的算法库。Ｈａｄｏｏｐ平台具有很强的计算能力，结合Ｍａｈｏｕｔ可Ｗ进行海量数据挖掘－。本文主要研究了数据挖掘技术中的ＫＭｅａｎｓ算法，用Ｃａｎｏｐｙ算法－进行预处理后再使用ＫＭｅａｎｓ算法聚Ｃ－ｋｍｅａｎ类，在前人研

7、究的ａｎｏｐｙｓ算法基础上提出了基于层次分析ＡＨＰ的加权欧式距离的方法，并用改进的算法对ＵＣＩ中（）的ＫＤＤ９９标准数据集进行聚类和分析。本文主要工作如下：（１）介绍论文的相关技术，并对Ｈａｄｏｏｐ框架和Ｍａｈｏ山库进行说明。２－Ｍｅａｎｓ算法的优缺点分析研究Ｋ，用Ｃａｎｏ算法进行数据预处理后再进（）ｐｙ－行ＫＭｅａｎｓ算法聚，类可Ｗ减少噪声点对算法的影响，更好地确定Ｋ值和聚类中也。本文在此基础上提出基于ＡＨＰ的加权欧氏距离的方法，可Ｗ更好地适用于多维海量数据集。３－Ｍｅａｎｓ分析Ｍａｈｏｕｔ库中的Ｋ算法并改进，

8、对标准数据集进行聚类分析（）后，改进的算法在算法稳定性和聚类准确率上有了提升，并且可Ｗ对海量数据进行处理。Ｋ－Ｍｅａｎｓｏｏ关键词！；云