分布式微博采集系统的设计与实现

《分布式微博采集系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201071640学校代号10487密级硕士学位论文分布式微博采集系统的设计与实现学位申请人：杨一帆学科专业：通信与信息系统指导教师：黑晓军副教授答辩日期：2013年1月12日ADissertationSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringDesignandImplementationofaDistributedMicroblogCrawlingSystemCandidate：YangYifa

2、nMajor：CommunicationandInformationSystemSupervisor：AssociateProf.HeiXiaoJunHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaJanuary,2013独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他个人或集体己经发表或撰写过的研究成果。对本文研究做出贡献的个人和

3、集体,均已在论文中作了明确的说明并表示了谢意。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名:日期:年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留和使用学位论文的规定，即:学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。保密□，在_______年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导老师

4、签名：日期:年月日日期:年月日华中科技大学硕士学位论文摘要微博作为一个新兴互联网平台，改变了公众媒体习惯和信息传播模式，并成为社会化媒体中消息最即时、用户最活跃的信息传播平台。截至2012年12月底，中国微博用户数已达到3.09亿，占网民总数的54.7%。针对微博展开的研究有助于了解舆论动向、追踪热点话题、区分社交网络中不同社会群体，具有很重要的社会和科研意义，而这些研究都需要大量的微博数据做支撑。虽然国内外已有众多机构和组织针对微博数据采集展开研究，但因为微博具有新兴性和特殊性，目前仍没有出现像针对传统互联网应用那样较为

5、成熟的数据采集方法，因此针对微博数据采集展开研究具有重要意义。本研究设计实现了分布式微博采集系统，具体工作包括：1）设计并实现通过调用开放平台接口采集微博数据，包括开放平台认证授权和编程接口等技术的研究和使用；2）设计并实现通过模拟登录解析页面采集微博数据，包括单点登录、页面解析等技术的理解和运用；3）结合以上两种采集方式，设计微博采集系统的总体框架、功能模块和数据库，并使用分布式策略实现一个高效易扩展的微博数据采集系统。使用本系统，用户只需导入要采集的目标微博用户账号，并选择要采集的数据类型，即可快速获得采集结果，同时可

6、根据需要修改系统规模来调整采集速率。经过功能测试和数据采集速率测试，证明本系统可以稳定高效地采集微博数据，并且支持动态扩展，为基于微博数据展开的研究工作奠定了基础。关键词：微博，开放平台，模拟登录，分布式，数据采集I华中科技大学硕士学位论文AbstractAsarisinginternetplatform,microbloghasgreatinfluenceonthewaypeopleusemediaandtheinformationpropagationpattern.Ithasbecomeaveryimportantm

7、ediaplatformwiththemostinstantnewsandthemostactiveusersamongallthesocialmedia.TotheendofDecember2012,themicroblogusernumberinChinahasreached309million,whichis54.7percentagesofalltheInternetusersinChina.Theresearchesonmicrobloghavegreatsignificancetosocietyandresea

8、rchbyhelpingunderstandingthetrendsofpublicopinion,tracinghottopicsanddividingsocialgroupsinsocialnetworkingservices.Allthesestudiesrequirelargeamountofm