微博大规模社区发现技术研究及实现

《微博大规模社区发现技术研究及实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、DESIGNANDIMPLEMENTATIoNoFLARGESCALECoMMUNITYDETECTIONTECHNoLoGYABOUTWEIBoAThesisSubmittedtoSoutheastUniversityFortheAcademicDegreeofMasterofEngineeringBYZhuKuangyanSupervisedbyProf．QiaoWANGSchoolofInformationScienceandEngineeringSoutheastUniversityJanuary,2013独创性说明东南大学学位论文独创性声明本人声明所呈交的学位论文是我

2、个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：叁卒蕉日期：生竺：至：±东南大学学位论文使用授权声明东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布(包括

3、以电子信息形式刊登)论文的全部内容或中、英文摘要等部分内容。论文的公布(包括以电子信息形式刊登)授权东南大学研究生院办理。研究生签名：茎型左导师签名：啦日期：坐!!：』!生摘要微博的大规模社区发现技术研究与实现硕士研究生朱矿岩导师王桥教授东南大学信息科学与工程学院本文设计并实现了针对微博的社区发现系统。系统包括并行化的数据采集软件和基于Hadoop平台的并行化社区发现算法，本文采集了百万用户规模级别的社交网络数据，并用图结构来表示采集的社交网络数据，测试表明，本文设计的系统有能力处理采集到的大规模数据，并得到合理的结果。本文首先介绍了微博的发展现状，接着简述了几大类社区发现技术

4、，并指出社区发现技术应用于微博这一社交网络的意义。接下来本文讨论了社区的定义，并分析了微博中反映社区结构的数据，以及根据这些数据构建模型的方法，即如何用图结构来形式化的表示社交网络，并举例子直观的展示了微博的社区结构。对于系统用到的算法，本文从基本概念、算法原理、算法流程等方面详细介绍了谱聚类算法和CNM算法，并对算法的优缺点进行了分析。接下来本文基于Hadoop对这两个算法进行了并行化实现，使之能处理大规模数据，并给出合理的结果。最后，本文分别用小规模数据和大规模数据对系统进行了测试，并根据测试结果展望了更进一步的工作。关键词：微博、社区发现、图、谱聚类、CNM算法、Hado

5、op、并行化AbstractDesignandImplementationofLargeScaleCommunityDetectionTechnologyAboutWeiboCandidate：ZhuKuangyan，Supervisor：Prof．QiaoWANGSchoolofInformationScienceandEngineering，SoutheastUniversity,ChinaInthispaper,weanalyzeandrealizeacommunitydetectionsystemforWeibo(MicroBlog)，thissystemconsist

6、ofaparallelizeddataacquisitionsoftwareandparallelizedcommunitydetectionalgorithmbasedonHadoopplatform．Wegathermillionscalesocialnetworkdata，andusegraphtorepresentthesecollecteddata．Thetestsshowthatthissystemhasthecapacitytohandlelargescaledata，andgivereasonableresults．First，weintroducethecur

7、rentsituationofWeiboandthenweoutlinedtypesofalgorithmsincommunitydetectiontechnology,weindicatethesignificanceofusecommunitydetectiontechnologyforWeibo．Then，wediscussthedefinitionofcommunityandanalyzethedatathatCallreflectthecommunitystructureofWei