分布式多媒体网络爬行系统设计和实现

《分布式多媒体网络爬行系统设计和实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeoftheMasterofEngineeringDesignandImplementofDistributedMultimediaWebCrawlerSystemCandidate:LiuXueMajor:ComputerApplicationTechnologySupervisor:AssociateProf.ZouFuhaoHuazhongUniversityofScience&TechnologyWuhan430074,P.R.China

2、January,2012独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，

3、可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要互联网和多媒体技术的飞速发展，推动了数字多媒体作品的在线销售与传播，也带来了版权侵犯问题。数字作品可以被轻易拷贝，任何人均可通过网络将版权保护作品进行再次分发。使用网络爬虫主动搜索互联网中的多媒体作品（图像、音频和视频），利用拷贝检测和数字指纹技术追踪泄露者，可以有效地保护版权。设计实现了一个分布式多媒体网络爬行系统，实现对互联网上多媒体作品的抓取，为下一步

4、版权保护提供检测数据来源。分布式网络爬虫的设计是一项极具挑战性的工作，在详细讨论一般爬虫设计架构的基础上，提出了一种实用的分布式架构设计，有效的结合了集中式和分布式设计的优点，较好地解决了任务调度与爬行结点动态加入和退出造成的重复爬行问题。网络爬虫的实现涉及到一系列关键技术，为加快爬行速度，尽早爬行到重要资源，采用基于URL过滤的宽度优先搜索策略，丢弃不重要的URL；在对基于BloomFilter的URL判重方式进行详细分析讨论后，提出了一种基于BloomFilter的分布式URL判重方法，每个爬行结点只维护自身任务范围内URL的判重结构，爬行结点越多，单个爬行结点需要进

5、行判重的URL越少，减少了对内存的需求，加快了判重速度；爬行结点采用多线程实现可以有效加快爬行速度，但线程之间存在竞争，详细讨论了多线程设计中遇到的问题。在多媒体资源爬行方面，详细讨论了多媒体资源爬行下载中存在的问题及解决思路，着重介绍了视频分享网站中存在的视频下载问题，并以视频网站优酷为例描述了问题的解决方案。最后通过系统的实际运行评测，验证分布式多媒体网络爬行系统的实用性，并对需要继续研究改进的问题提出了展望。关键词：网络爬虫，分布式，多媒体I华中科技大学硕士学位论文ABSTRACTTherapiddevelopmentofInternetandmultimediat

6、echnologyindigitalmultimediahasnotonlygreatlypromotedtheonlinemarketingandcommunicationofdigitalmultimedia,butalsobroughtcopyrightinfringementissues.Becausedigitalworkscanbecopiedeasily,anyonecaneasilyre-distributeorselldigitalmediaonInternet.Byusingwebcrawlertosearchthemultimediaworksont

7、heInternetactively,trackleaksviacopydetectionanddigitalfingerprintingtechnology,caneffectivelyprovideprotectionofcopyright.ThedesignofdistributedWebcrawlerisachallengingwork,thispaperdiscussedthegeneralframeworkdesignofcrawler,andproposeapracticaldistributedarchitec