分布式p2p网络业务监测分析系统的设计和实现

《分布式p2p网络业务监测分析系统的设计和实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第1章绪论件设备功能的更新和改进又相对缓慢，因此目前用于网络监测的硬件设备的功能往往跟不上实际的监测需求。如果采用软件方式来实现对网络应用进行监测的功能，虽然功能的升级更新相对硬件会更快，成本也更加低廉，但往往在网络数据采集以及处理的性能上与硬件有很大差距，无法满足基于大数据量的网络应用监测的需求，因此提升软件系统对网络应用的识别效率是用软件方式实现网络应用监测的关键。当然，如果仅仅停留在对P2P等网络应用进行监测这一层面上，那么现有的技术已经可以满足大多数的应用需求。然而，现有的市场需求更多指向智能化的网络管理以及对大规模网络

2、监测数据的处理和分析，特别是当网络监测系统获取大量网络数据后，网络运营商或是其他商业机构都迫切希望从这些数据中获取有价值的信息，以帮助他们了解当前互联网运行状况以及互联网用户的相关行为模式。比如，网络中P2P业务的使用情况、P2P网络中不同资源受欢迎程度等等。再比如，根据P2P用户的兴趣和偏好对P2P网络中的用户进行聚类，从而发现文件共享网络中潜在的网络社区。发现P2P网络中存在的网络社区是非常重要的，因为它蕴含着许多潜在的商业价值：(1)P2P网络中潜在网络社区的发现，可以帮助进行有效的好友推荐，从而让P2P网络从原先匿名的资

3、源共享网络真正成为一个具有社交功能的社区网络。(2)网络社区由具有共同兴趣的网络用户构成，因此，如果可以发掘出同一社区内用户所具有的共同兴趣和偏好，就可以进行更为有效的广告定向推送。(3)由于P2P网络社区与P2P用户的兴趣和行为有关，因此它可以帮助构建个性化和智能化的P2P网络资源搜索机制，解决P2P网络现有资源搜索技术效率不高的问题，从而提升用户体验。能够从网络监测数据中获取的有价值的信息还有很多，关键是要有相应的技术手段来处理和分析大规模的数据。因此，在提升网络业务监测技术性能的同时，开发相应的网络数据后端处理分析平台对于

4、构建完善的网络监测分析系统也是至关重要的。1．3论文主要工作本文作者深入调研了P2P网络流量识别以及网络监测分析领域的相关技术，根据当前技术所存在的问题以及市场的主要需求，设计并实现了一种能够对多个局域网中P2P文件共享行为和在线视频业务的访问情况进行监测和分析的系统。论文作者的主要工作如下：3东南大学硕士学位论文(1)实现了分布式多局域网数据采集以及P2P网络业务监测该监测分析系统采用分布式构架，由大量数据采集监测节点和一个数据处理中心服务器构成。其中，数据采集监测节点部署于各个中小型局域网出口处，采用DPI与传输层识别(Tr

5、ansportLayerIdentification)[41相结合的方法对流经局域网出口处的网络数据流进行监测，获取当前该局域网用户使用各种网络业务的情况。数据处理中心服务器用于汇总各采集节点的监测数据并进行相关处理。(2)利用谱聚类(SpectralClustering)IS]算法实现P2P网络社区发现这一功能。网络社区检测和发现对于我们认识网络特性和理解网络用户的行为有很重要的意义。目前被用于网络社区划分的算法有很多，我们对其中比较有代表性的几种进行了比较研究，经过综合考虑最终选定使用谱聚类算法。相关实验的结果显示，谱聚类算

6、法可以有效实现这一功能。(3)实现了大规模网络数据处理分析由于P2P网络监测数据的量非常大，这使得应用谱聚类方法来分析这些数据的计算开销急剧增加，因此在数据处理分析中心我们采用集群计算的方式对由各个采集节点汇总过来的大规模网络数据进行深入处理和分析。这主要是考虑到集群计算在并行处理和分析大规模数据时的优势。数据处理和分析的工作主要包括：网络内P2P文件共享以及在线视频业务使用情况统计以及基于谱聚类算法的P2P网络社区发现。其中，为了解决谱聚类算法实现过程中大规模矩阵特征值和特征向量的计算问题，我们基于IBM刀片服务器和ⅧI函数库

7、实现了一种Lanczos算法【6J的并行化方案。1．4论文结构安排本文针对P2P网络业务监测分析这一问题，设计并开发了一种能够同时对多个局域网中P2P文件共享行为和在线视频业务的访问情况进行监测和分析的分布式系统。论文首先简单介绍了该课题的相关背景，接着详细介绍了P2P网络流量识别相关技术，特别是结合网络监测数据对几种热门P2P网络协议进行了分析。为了深入研究P2P用户的共享行为以及P2P网络中资源的传播模式，本文基于图论以及数据挖掘相关理论，利用真实的P2P网络监测数据，实现了P2P网络社区发现这一功能。为了解决P2P网络社区

8、发现过程中大规模网络数据分析处理的问题，本文基于IBM集群运算服务器这一并行数据处理运算平台实现了大规模稀疏矩阵特征值和特征向量的并行计算。最后，本文介绍了对该监测分析系统的相关测试，并对相关测试结果进行了分析。本文具体的章节安排如下：第l章为绪论，本章首先简要