基于mapreduce的社交网络可视化研究

《基于mapreduce的社交网络可视化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、隶南大◆粤硕士学位论文万方数据基于MapReduce的社交网络可视化研究万方数据TheSocialNetworkVisualizationResearchBasedonMapReduce⋯鹇ub⋯t。J黜嬲SoutheastUniversityFortheAcademicDegreeofMasterofEngineeringBYZhongQiweiSupervisedbyProf．WangQiaoSchoolofInformationScienceandEngineeringSoutheastUniversityJanuary,2014万方数据独创性说明东南大学学位论文独创性声明本人声明所呈交

2、的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：东南大学学位论文使用授权声明东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布(包括以电子信息形式刊登)论文的

3、全部内容或中、英文摘要等部分内容。论文的公布(包括以电子信息形式刊登)授权东南大学研究生院办理。一魏种燧轹嚆吼趔-形万方数据摘要基于MapReduce的社交网络可视化研究硕士研究生钟齐炜导师王桥教授东南大学信息科学与工程学院本文研究社交网络的可视化方法。首先分析了社交网络的基本特性；然后通过将社区识别与可视化相结合，提出了基于层次聚类的社交网络可视化算法，并且设计了针对大数据的基于MapReduce的并行可视化方法。实证分析表明：本文提出的算法的处理性能与可视化效果良好。首先，以新浪微博为研究对象，详细研究了社交网络的宏观统计特性，阐述了社交网络微观特性研究的瓶颈。针对社交网络可视化这一基础性

4、问题进行深入研究，详细综述了各种可视化算法的思想、流程、复杂度及优缺点，并且简要介绍了Hadoop分布式并行化架构。然后，简单介绍了基于层次聚类的社区识别算法及其评价函数，提出了基于层次聚类的社交网络可视化算法。详细阐述了该算法的思想与处理流程，并且提出了相关改进方法以使得社区识别更为准确、可视化效果更为美观。最后，针对社交网络的大数据趋势，详细设计实现了基于MapReduce的并行可视化算法，并且针对社区识别算法的迭代过程提出了两种改进方法。实证分析表明：(1)基于层次聚类的社交网络可视化算法具有良好的加速性能。(2)社交网络的数据规模较小时，适合运用单机算法实现其可视化过程；社交网络的数据

5、规模较大时，则适合运用并行化方法实现。(3)改进的两种并行社区识别方法的加速性能与效果良好。(4)本文提出的算法在三种平台(移动设备、浏览器、计算机)上都具有良好的处理性能与可视化效果。关键词：社交网络，可视化，社区识别，MapReduce万方数据东南大学硕士学位论文Il万方数据AbstractTheSocialNetworkVisualizationResearchBasedonMapReduceCandidate：ZhongQiwei，Supervisor：Prof．WangQiaoSchoolofInformationScienceandEngineering，SoutheastUniv

6、ersity,ChinaSocialnetworkdevelopsSOrapidlyinrecentyearsthatitsdatascalebecomeslargerandlarger．Inthispaper,weanalyzethebasicfeaturesofsocialnetwork，andfocusonthestudyofsocialnetworkvisualization．Anovelvisualizationalgorithmbasedonhierarchicalclusteringisproposedviacombiningdomainknowledgeofcommunityd

7、etectionandvisualization．Itsparallelmethodbasedonmapreduceforlargescaledatasetisimplementedindetail．EmpiricalanalysisshowsthattheperformanceoftheproposedalgorithmissatisfyingaswellaSitsvisualizationre