kad网络点资源探测分析

《kad网络点资源探测分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Kad网络节点资源探测分析*基金项目：本课题得到国家自然科学基金（No.60803085,No.60873245）；国家高技术研究发展计划(863计划)（2006AA01Z452）的资助。作者简介：刘祥涛，男，1977年生，博士研究生，研究方向：P2P网络安全，数据挖掘等，Email：liuxiangtao@software.ict.ac.cn.龚才春，男，1978年生，博士，研究方向：信息检索，数据挖掘等.刘悦，女，1971年生，副研究员，研究方向：信息检索，社区挖掘与分析，分布式计算等.白硕，男，1956年生，博士，研究员，博士生导师，研究方向：自然语言处理，网络

2、安全等.刘祥涛1,2，龚才春3，刘悦1，白硕11（中国科学院计算技术研究所北京100190）2（中国科学院研究生院北京100190）3（北京市计算中心北京100005）摘要Kad网络中存在数以亿计的共享资源，而其中有相当一部分可被评定为敏感资源。首先用我们的Kad网络采集器：Rainbow对节点拥有的文件资源进行探测；然后对节点资源和敏感资源进行相关统计分析。我们发现：1)文件流行度和文件所对应的文件名数量都近似符合Zipf分布；2)利用同一个“文件内容哈希”(即file-content-hash)的多个文件名的共现词可以更准确地进行敏感判别；3)敏感资源占随机样本的

3、6.34%，且敏感资源中74.8%为video文件。关键词对等网络；Kad网络；探测分析；敏感资源PeerResourceMeasurementandAnalysisinKadNetworkLiuXiang-Tao1,2,GongCai-Chun3,LiuYue1,BaiShuo11(InstituteofComputingTechnology,ChineseAcademyofSciences,Beijing100190)2(GraduateUniversity,ChineseAcademyofSciences,Beijing100190)3(BeijingCompu

4、tingCenter,Beijing100005)AbstractInKadnetwork,therearehundredsofmillionsofsharedresources,amongwhichaconsiderablepartcanberatedassensitiveresources.Firstly,thefileresourcesofpeersaremeasuredusingourKad-networkcrawler:Rainbow,then,thoseresourcesandsensitiveresourcesarestatisticallyanalyz

5、ed.Wefindthat:1)boththepopularityoffilesandthenumberoffilenamescorrespondingtoafileapproximatelyfitZipfdistribution;2)thesensitivityoffilescanbejudgedmoreaccuratelyusingco-occurrence-wordsinmultiplefilenamescorrespondingtothesamefile-content-hash;3)sensitiveresourcesonlyoccupy6.34%ofran

6、domsample,and74.8%ofsensitiveresourcesarevideofiles.KeywordsPeer-to-peernetwork;Kadnetwork;measurementandanalysis;sensitiveresource1引言eMule网络[1]是一种混合类型的文件共享对等网络，它由两部分：集中式网络和纯分布式网络组成。其中纯分布式网络采用了Kademlia协议[2]，是eMule网络的主要组成部分。一般来说，采用Kademlia协议的eMule网络称为Kad网络。Ipoque2008~2009年度的因特网流量报告表明：依地理

7、位置的不同，eMule占P2P流量的2%~47%，占因特网流量1%~26%[3]，且呈上涨趋势[4][5]。Kad网络为不健康内容的传播提供了方便，在Kad网络中存在数百万的共享资源，其中有相当一部分不合适让特定人群观看，我们称这些资源为敏感资源。所以对Kad网络中的共享资源进行探测分析是相当必要的，这样不仅可以了解敏感资源的扩散程度，也可以为不健康内容的过滤做好铺垫工作。从而减少特定人群受不健康内容侵蚀的影响，有助于社会精神文明建设。Kad网络的探测分析存在如下挑战：l虽然对等网络爬虫研究已经取得了较大进展[6][9][10][11]，但直到现在，