基于浏览器测试组件的社交网络数据获取技术研究-论文.pdf

《基于浏览器测试组件的社交网络数据获取技术研究-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2015年第05期Idoi：10．3969dissn1671—1122201505009基于浏览器测试组件的社交网络数据获取技术研究陈学敏，沙瀛(中国科学院信息工程研究所，北京100093)摘要：社交网络数据获取是社交网络分析重要的前提条件。当前各大社交网络平台对于第三方爬虫的屏蔽措施日益复杂，传统的数据获取手段受到严峻的挑战。文章提出了一种基于浏览器测试组件的社交网络数据获取技术，通过模拟正常用户的行为以规避社交网络对于传统网络爬虫的限制，实现目标数据的高效获取。该系统分别获取了QQ群即时聊天信息和非即时资料信息。对于即

2、时聊天信息获取，经过实验测试和结果对比，发现即时信息采集的采全率迭99％以上，准确率达100％。对于非即时资料，分别获取了群公告、群成员列表、群共享文件和共享相册等数据，通过数据抽样对比，采全率和准确率均达到100％。实验证明基于浏览器测试组件的社交网络数据获取技术有其一定的数据获取优势。关键词：社交网络；数据获取；用户行为模拟；浏览器测试组件中图分类号：TP309文献标识码：A文章编号：1671—1122(2015)05—0056—06中文引用格式：陈学敏，沙瀛．基于浏览器测试组件的社交网络数据获取技术研究【J1．信息网

3、络安全，2015，(5)：56—6l_英文引用格式：CHENXM，SHAY．ResearchonSocialNetworkDataAcquisitionTechnologyBasedonBrowserTestComponents[J]．NetinfoSecurity,2015，(5)：56—61．ResearchonSocialNetworkDataAcquisitionTechnologyBasedonBrowserTestComponentsCHENXue—min．SHAYing(InstituteofInformat

4、ionEngineering,ChineseAcademyofSciences，Beijing100093，China)Abstract：Socialnetworkdataacquisitionisavitaltechnologyandpreconditionforpublicopinionanalysis．However,shieldingmeasuresofthecurrentmajorsocialnetworkplatformsareincreasinglycomplexitytothird-partycrawler

5、s．Traditionaldataacquisitionmeansarefacingincreasinglyseverechallenges．Thispaperproposesadataacquisitiontechnologybasedonbrowsertestcomponents，whichavoidssomelimitationsthatsocia1networkshavesetuptotraditionalnetworkcrawlersbysimulatingnormalusers’behaviors，inorde

6、rtoachieveeficientlydataacquisition．ThesystemacquiresQQgrouprea1．timemessageinformationandnonreal—timeinformation．Forreal—timemessagetheresultofcomparativeexperimentshowsthattheoverallrateofinstantinformationcollectionreaches99％．andtheaccuracyratereaches100％．Forno

7、n—rea1．timeinformation．thesystemacquirestheinformationofgroupannouncement，thelistofgroupmembers，thegroupsharedfileandalbum．Bycontrastofdatasampling，theresultshowsthatoverallrateandaccuracyrateallreach100％．Theexperimentprovesthatsocialnetworkdataacquisitiontechnolo

8、gybasedonbrowsertestcomponentshasitsadvantagesondataacquisition．Keywords：socialnetwork；dataacquisition；userbehaviorsimulation；browsertestcomponents●收稿日期