网络数据的分析方法研究.pdf

《网络数据的分析方法研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、：分类号：０２１２．１学校代码１０６９７：密级：公开学号２０１２２０５０９ＩＳＰ＾ｒＮｏｒｔｈｗｅｓｔＵｎｉｖｅｒｓｉｔｙ硕士字位论文＇ＳＤＩＳＳＥＲＴＡＴＭＡＳＴＥＲＩＯＮ网络数据的分析方法研究＇‘．．－．」：．ｙ．学科名称：概率论与数理统计作者：轉路指导老师：张海教授西北大学学位评定委员会二０—五年西北大学学位论文知识产权声明书本人完全了解西北大学关于收集、保存、使用学位论文的规定。学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。本人授权西北大

2、学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文０同时授权中国科学技术信息研究所等机构将本学位论文收录到《屮国学位论文金文数据库》或其它相关数据库。保密论文待解密后适用本声明。学位论文作者签名：＾：，指导教师签名：ｙ年月日知丨Ｔ丨１丨年月（Ｐ西北大学学位论文独创性声明本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，本论文不包含其他人已经发表或撰写过的研究成果，也不包含为获得西北大学或其它

3、教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表不谢意。学位论文作者签名：年月日彡Ｓ摘要随着数据的爆炸式的增长我们己经进入大数据时代如何从这些数据资，，一源中挖掘出有价值的信息正在成为工业界和学术界的热点之．而网络数据，是一种重要的数据形式通常从各种复杂系统收集到的数据形式是孤立的将，，一数据之间隐含相互关系的链接整合处理后就形成个复杂网络．因此对网络数一据的研究分析是深入理解大数据内涵价值的途径之．本文在第一章综述了复杂网络的启发式社区发现方法．考虑含有节点邻域信息的

4、新模块度函数的社区发现方法和最优分组下标度参数的选择问题通过，谱松弛方法求解模块度函数的最大化问题最终利用新算法快速求解并通过，，真实网络数据验证算法能更好的发现社区．进一步要研宄庞大数据量的网络数据结构的性质与形成机制必须先实现，：对于真实网络数据的获取从而验证算法的有效性．而分布式计算是快速高效，处理数据的框架因此开展基于分布式计算框架的数据处理是必由之路．本文，第三章面对真实的网络数据我们实现了从Ｍ贞上收集数据并对于此数据基，，于Ｓｐａｒｋ分布式计算框架高效快速的完成了对数据的清洗与整理．关键词复杂网络谱方法块度Ｓｐａｒｋ分布式计算

5、，，模，，ｉＡｂｓｔｒａｃｔＷｉｔｈｔｈｅｅｘｐｌｏｓｉｖｅｇｒｏｗｔｈｏｆｄａｔａ，ｗｅｈａｖｅｅｎｔｅｒｅｄｔｈｅｅｒａｏｆｂｉｇｄａｔａ．Ｈｏｗｔｏｄｉｇｏｕｔｖａｌｕａｂｌｅｉｎｆｏｒｍａｔｉｏｎｆｒｏｍｔｈｅｓｅｄａｔａｓｏｕｒｃｅｓｈａｓｂｅｃｏｍｅｏｎｅｏｆｔｈｅｈｏｔｔｅｓｔｔｏｐｉｃｓｉｎｔｈｅｆｉｅｌｄｓｏｆｉｎｄｕｓｔｒｙａｎｄａｃａｄｅｍｙ．Ｔｈｅｎｅｔｗｏｒｋｄａｔａｉｓａｎｉｍｐｏｒｔａｎｔｆｏｒｍｏｆｄａｔａ．Ｕｓｕａｌｌｙｄａｔａｃ

6、ｏｌｌｅｃｔｅｄｆｒｏｍｖａｒｉｏｕｓｃｏｍｌｅｘｓｓｔｅｍｓｐｙ？ｉｓｉｓｏｌａｔｅｄ．Ｔｈｅｌｉｎｋｓｗｈｉｃｈｃｏｎｔａｉｎｉｍｐｌｉｅｄｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｄａｔａａｒｅｉｎｔｅｇｒａｔｅｄｔｏｆｏｒｍａｃｏｍｐｌｅｘｎｅｔｗｏｒｋ．Ｔｈｅｒｅｆｏｒｅｔｈｅａｎａｌｓｉｓｏｆｎｅｔｗｏｒｋｉｓａｎｙ，ａｐｐｒｏａｃｈｏｆｉｉｕｄｅｒｓｔａｕｃｌｉｎｔｈｅｉｎｔｒｉｎｓｉｃｖａｌｕｅｏｆｂｉｄａｔａ．ｇｇＩｔｈｅｉｉｉｉｉｌｌｓｅｃｏｎｄｃｈａｐｔｅｒｗｅ

7、ｒｅｖｅｗｔｈａｔｔｈｅｈｅｕｒｓｔｃｃｏｍｍｕｎｔｙｄｅｔｅｃｔｏｎ？ｌｅｘｎｅｔｗｏｒｋ．Ａｌｓｏｗｅａｉｍａｔｔｈｅｍａｘｍｅｔｈｏｄｏｆｃｏｍｐｉｎｔｈｅｓｅｃｏｎｄｃｈａｐｔｅｒｉｍｉｚａｔｉｏｎａｎｄａｒａｍｅｔｅｒｓｅｌｅｃｔｉｏｎｏｆｔｈｅｎｅｗｍｏｄｕｌａｒｉｔｗｉｔｈｎｅｉｇｈｂｏｒｈｏｏｄｐｙｉｉｏｎｔｈｅｎｗｅｒｅｆｏｒｍｕｉｉｚｉｉｉ？ｎｆｏｒｍａｔｌａｔｅｔｈｅｍａｘｍａｔｏｎａｓａｓｅｃｔｒａｌｒｅ