大数据分析中的聚类算法研究

《大数据分析中的聚类算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、？■分类号：ＴＰ３９１１单位代码１０３６１：安获化玉乂學？ＡＮＨＵＩＵＮＩＶＥＲＷＴＹＯＦＳＣ旭ＮＣＥ＆ＴＥＣＨＮＯＬＯＧＹ论文题目；大数据分析中的聚类算法妍究化者娃名：蔡洪山专业名称；计算机科学与技术导师姓名：许峰教授完成时间—：二〇六年六月：ＴＰＷｌ］论文编号：中图分类号：公学科分类号：密级开＿ｊ２Ｑ安徽理王大学硕去学位论文大数据分析中的聚类算法研究作者姓名：蔡洪山专业名称：计算机科学与技术研究方向：大数

2、据分析与统计算法导师姓名：许峰教授导师单位：安徽巧工大学理学院答辩委员会主席：王根南６月４日论文答辩日期；２０１６年安徽理工大学研究生处２０１６年６月８日ＡＤｉｓｓｅｒｔａｔｉｏｎｉｎＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＲｅｓｅａｒｃｈｏｆＣｌｕｓｔｅｒｉｎｇＡｌｇｏｒｉｔｈｍｓｉｎＢｉｇＤａｔａＡｎａｌｓｉｓｙＣａｎ出ｄａｔｅ；ＣａｉＨｏｎｇｓｈａｎＳｕｐｅｒｖｉｓｏｒ：ＸｕＦｅｎｇＳｃｈｏｏｌ

3、ｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇＡｎｈｕｉＵｎｉｖｅｒｓｉｔｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｙｇｙＮｏ．１６８ＳｈｕｎｅｎＲｏａｄ，Ｈｕａｉｎａｎ２３２００１Ｐ．民．ＣＨＩＮＡ，ｇｇ，，独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加Ｗ标注和致谢的地方Ｗ外，论文中不包含其他人巴经发表或撰写过的研究成果，也不包含为获得安徽理工大学或其他教育化构的学化或证书而佑用过的

4、材料一。与我罔工作的同志对本巧究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名；余＾如日期：＞峰＾月的学位论文版权使用授权书本学位论文作者兔夺了解安徽理Ｘ大学有保留、使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属于安徽理工大学。学校有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权查盤翌玉去堂可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索，可Ｗ采用影印、缩印或扫描等复制手段保存、汇编学位论文

5、。（保密的学位论文在解密后适用本授权书）＂＜峰＾学位论文作者签名；签字日期》＾＞＾月》日１０＾（导师签名：签字日期｜解［月＾日打Ｉ摘要随着信息技术特别是移动通讯技术的发展，社交网络、物联网、云计算等相继进入人们的日常工作和生活中，人们积累了大量数据，并且数据仍然呈快速増长趋势。面对海量的数据，如何从中挖掘出有价值的信息成为许多领域广泛研究。聚类分析是数据挖掘和机器学习中常见的技术的问题，在在学术和工业领域被大量使用。然而，传统的聚类算法Ｗ串行方法对数据进行处理，当应用

6、于海量数据分析时，由于内存限制等原因，其效率不离，不能满足当前对海量数掘处理的需要。为应对海量数据的挑战，提髙聚类算法的效率，并行聚类技术成为当前研究的热点。片ｆｌ成＞０／７当前广泛使用数据分析平台，它是对Ｍ巧诚ｅ此Ｗ汁算模型和分布式？存储系统Ｇｉ巧Ｇｏｏｇ／ｅＦ瓜ｓｋｍ的开源实现。台化因其易用性和良好的扩展踩）一性，已成为大数据分析的核也之。成ｗＡ是当前十分流行的分布式计算计算平台，一种基于内存的分布式数据结构它实现了，并且提供了简单且强度的的编程接口，可Ｗ被用来构建大数据分析中

7、的聚类算法。本文分析了对上述大数据处理平台进行了对比，详细分析了其并行化原理，论述了如何将聚类算法并行化Ｗ对海量数据进行处理。本文分析大数掘分析中典型的聚类算法一种基于预测强度大，分析了它们各自的特点及应用场景，同时提出ｋ－均值聚类算法数据集，并给出其在上述两个平台上的实现。ａｒｋ关键词：聚类分化Ｈａｄｏｏ大数据Ｓｐ，，ｐ分类号：ＴＰ３０１ＩＡｂｓｔｒａｃｔＡｂｓｔｒａｃｔＷｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｉ

8、ｑｕｅｓ，ｅｓｐｅｃｉａｌｌｙｍｏｂｉｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ化ｃｈｎｏｌｏｓｏｃｉａｌｍｅｄｉａｔｈｅＩｎｔｅｒｎｅｔｏｆＴｈｉｎｓａｎｄｃｌｏｕｄｃｏｍｕｔｉｎｇｙ，＾ｇｐｇ，ｈａｓｂｅｅｎｉｎｔｅｇｒａｔｅｄｉｎｔｏｅｏｌｅｓｌｉｖｅｓａｎｄｗｏｒｋｓｗｈｉｃｈｒｅｓｕｌｔｓｉｎ过ｈｕｅａｍｏｕ