微博客数据的获取与分析方法研究

《微博客数据的获取与分析方法研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、些直至堑厶生蛆±。羔位丝室主奎蝤噩中文摘要摘要：微博客是继博客后迅速发展起来的一种新的社交网络形式，在信息传媒领域形成了很大的影响力。对于传统的社交网络形式，数据的获取与分析技术己开趋成熟，但对于微博网络数据的获取及微博网络特性的研究，还不够完善。本文研究了微博的特点及作用，微博数据获取的两种技术．以新浪微博为例，设计并实现了微博数_I晤获取与分析系统，仿真并分析了微博网络的网络特性。本文主要的工作目的是在获取微博数据的基础上，分析微博数掘，由此得出微博网络的特性。县体的工作如下：1、研究了使用网络页面爬虫获取数据的相关技术，包括通用网络爬虫，聚

2、焦网络爬虫，网页预处理，文本分娄等的基本原理和工作流程。2、深入研究了利用微博系统的SDK获取数据的工作流程，该技术通过调用微博平台提供的API柬获取用户数据，调用API需通过用户身份的鉴权，目前主要川到的是OAuth鉴权，该方法步骤简单，抓取数据的准确度和效率高，本文应用该方法获取微博数据。3，从简化认证步骤，提高获取效率，避免重复爬取等方面考虑，对SDK程序进行了改进，经多次实验汪明经过改进的程序能长时有效的获取微博数据，此方法扶驶的微博数据作为研究微博网络特性的数据集。4、殴计了微博数据获取神1分析系统的总体框架，系统的数据库，功能模块和界

3、面，实现了微博的数据获取和分析的基本功能，借助干醵系统可对微博网络做更深入的研究。5，埘微博的网络拓扑，节点的入度分枷，Ⅲ度分m等进行了分析，通过分析得出微博网络具有小世界特性，七杯度和高聚类特性。关键词：微博；网络爬虫；无标度删络；度分如分类号：TP39301址_一玉L蔓三一』盟—厶—堂—熊—±—生位诠塞——』L旦—￡_]1'卫—△—UABSTRACTABSTRACT：MierobloggingisquicklydevefopedintoanewformofsocialnetworkfollowingblogIthasgreatinfluenc

4、eonthefieldofinformafionmediaForthetraditionalformofsocialnetwork，dataacquisitionandanalysistechnologyhasmatured，butthemicrobloggingnetworkdataacquisitionandtheresearchofmicrobloggingnetworkcharacteristicsisstillnotperfectThispaperstudiesthecharacteristicsandtheeffectofmicrob

5、fogging,andtwomicrobloggingdataacquisitiontechniquesUsingSinamicrob!oggingforexample，microbloggingdataacquisitionandanalysissystemwasdesignedandachieved，networkcharacteristicsofmicrobloggingweresimulatedandanalyzedThemainpurposeistoanalysisthecharacteristicofmicrobloggingnetw

6、orkaccordingtothedataobtainedinmicrohfoggingSpecificworkisasfollows：I、Studyonthetechnologiesofgettingdatausingwebpagecrawlenincludingthebasicprinciplesandworkfiowofgeneralwebcrawlegfocusedcrawler,webpre-processing，textclassificationetc2、Studyontheworkflowofgettingthedatausing

7、microbfoggingsystemSDK，thistechnologygetstheuserdatabycallingtheAPIprovidedbythemicrobloggingplatform，andcallingtheAPIrequirestheuseridentityauthenticationCurrently,themaiorauthenticationisOAuthwhichisdescribedindetailinthispaper,andthismethodhassimplestepsandi'tcangetmicrobl

8、oggingdataaccuratelyandefficiently．3、TheSDKprogramhasbccninrprovedby