基于分布式的谱聚类算法在虚拟社区发现上的应用研究

《基于分布式的谱聚类算法在虚拟社区发现上的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、暨南大学硕士学位论文题名（中英对照）：基于分布式的谱聚类算法在虚拟社区发现上的应用研究Theapplicationresearchofvirtualcommunitiesdiscoveringbasedondistributedspectralclustering作者姓名：徐大海指导教师姓名及学位、职称：王会进硕士、教授学科、专业名称：计算机科学与技术、计算机技术学位类型：专业学位论文提交日期：2016年5月论文答辩日期：2016年6月答辩委员会主席：黄昌勤论文评阅人：陈忆群、黄战学位授予单位和日期：暨南大学2016年6月26日独创

2、性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得暨南大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解暨南大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权暨南大学可以将学位论文的全部或部分

3、内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日学位论文作者毕业后去向：工作单位：电话：通讯地址：邮编：摘要社交网络中由于用户年龄、职业、兴趣等的不同会呈现出社区结构特性，社区发现是社区结构特性的研究基础和核心。社区发现可以分析不同社群间用户的关系、发现隐藏在社区内部的规律、追踪网络中的热点话题等，对好友推荐、精准营销等都具有非常重要的作用。目前有大量的社区发现方法，而谱聚类方法是基于图理论的社区发现算

4、法，适用于社交网络这种可以抽象成用户关系图的数据。传统的谱聚类算法因为时间复杂度高等原因大多应用在节点规模比较小的网络上，而社交网络则是具有海量用户的网络，这对传统的谱聚类算法提出了挑战。本文主要研究内容就是将现在应用非常广泛的分布式大数据计算框架Hadoop应用到大规模社区发现中，针对社交网络数据的特性，设计了合理的用户相似度模型，弥补了传统的谱聚类算法无法确定聚类个数、计算耗时长等缺陷，使其在大规模社区发现问题上的效率得以提高，以解决传统谱聚类算法只能适用于小规模社区发现等问题。本文针对谱聚类算法无法确定社区个数的缺点，提出了在

5、社区结构明显的场景下应用基于PageRank的社区数目发现算法，得益于PageRank算法良好的并行性，使其可以在大规模数据集中运用并行计算来提高发现社区数目的效率；在社区结构不明显的网络中，提出基于模块度优化的谱聚类算法来发现社区数目。本文选用被公众使用较多的微博社交网络作为实验验证，微博中用户有微博内容、关注、粉丝、交互、个人信息等众多的属性。本文综合四类用户属性信息，构建了更加合理的用户相似度模型。针对谱聚类算法应用于社交网络这个特殊场景提出了使用HBase存储中间结果、控制分块大小、使用Uber模式等一系列Hadoop优化策

6、略。关键字：分布式；谱聚类；虚拟社区发现IAbstractBecauseofthedifferentusersage,occupationandinterestsetc,thesocialnetworkpresentsdifferentstructuralcharacteristicsofcommunities,communitydiscoveryistheresearchfoundationandcoreofcommunitystructurecharacteristics.Communityfindingsnotonlycont

7、ributeanalyzingtherelationshipamongdifferentgroupsofusers,fingdinginternalruleshiddeninthecommunityandtrackingthehottopicsinthenetwork,butalsoplayaimpotantroleinTherecommendationoffriendsandprecisionmarketing.ThespectralclusteringalgorithmisoneoflargeCommunityfindingmo

8、theds,basedongraphtheoryandappliestosocialnetworksthatcanbeabstractedintousergraphdata.Duetothehightimecomplexityofth