分布式微博信息采集平台的设计与实现

《分布式微博信息采集平台的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201171738学校代码10487密级硕士学位论文分布式微博信息采集平台的设计与实现学位申请人：范欣欣学科专业：通信与信息系统指导教师：程文青教授答辩日期：2014年1月5日万方数据ADissertationSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringDesignandImplementationofDistributedWeiboInformationCollectionSystemCandidate

2、:XinxinFanMajor:CommunicationAndInformationSystemSupervisor:Prof.ChengWenqingHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaJan.2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师的指导下进行的研究工作及取得的研究成果。尽我所知，除文中已标明引用的内容外，本论文不包含任何其他人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文

3、中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在______年解密后适用本授权书。本论文属于不保密□。√（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月万

4、方数据华中科技大学硕士学位论文摘要随着互联网技术、社交网络和移动网络的高速发展，对于海量数据的收集、分析、应用和预测已经成为各个领域的研究热点。目前，对海量数据的采集主要是整个网络范围的采集，比如各种搜索引擎，或者是单机模式的采集，这样的数据采集方案没有针对性或者性能较差。因此，分布式的垂直采集方案由此产生。本文设计并实现了基于分布式模型的微博数据采集系统。数据采集采用模拟浏览器登陆后抓取页面以及解析页面的设计方案，考虑到可扩展性，系统架构采用Master/Slave的分布式模型。整个系统包括控制节点和工作节点两大部分。1)控制

5、节点负责任务调度、任务状态检测和爬取数据的存储，其中任务调度模块采用基于优先级的FIFO算法实现，任务状态通过周期性的心跳机制检测，而数据存储采用批量数据存储方案。2)工作节点主要负责任务执行、任务状态汇报和任务申请。任务执行使用HTTPClient工具进行页面数据抓取，然后使用XQuery模板对目标数据进行解析。任务状态汇报基于工作节点周期性地向控制节点汇报本地任务的执行状态信息，便于控制节点对全局的管理。而任务申请模块采用线程池饱和运行策略决定任务申请个数。经过功能测试之后本系统现在已经能够正常稳定运行，在性能方面还有待提升

6、,之后还需要在一些设计和实现方面做出有效调整和改进，使其能够更加稳定高效地工作。关键词：分布式,可用性,数据采集,数据解析,XQuery模板I万方数据华中科技大学硕士学位论文AbstractWiththerapiddevelopmentofinternettechnology,socialnetworkingandmobilenetworks,thecollection,analysisandforecastingofmassivedatahasbecomeahottopicinvariousfields.Currently,m

7、assivedataismainlycrawledacrosstheentirenetworksuchassomesearchengineswiththestand-alinemode.Thisdesignlacksoftargetedandplaysalowperformance.Asaresult,wewilldesignadistributedsystemforcrawlingdatatoachieveseveralgoals:scalability,highperformanceandavailability.Thist

8、hesisdesignsandimplementsadistributedsystemforcrawlingdata.Thedatacollectionmoduleisdesignedtocrawlandsolvepagesaftersimulatedlandi