并行网络爬虫技术及实验系统研究

《并行网络爬虫技术及实验系统研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、南开大学硕士学位论文并行网络爬虫技术及实验系统研究姓名：耿新申请学位级别：硕士专业：软件工程指导教师：程仁洪20081101摘要网络爬虫程序是一个下载并储存网络上的Web页面和其它Web媒体的应用程序，广泛应用于搜索引擎网络和以内容展示为主的网站。随着近年来互联网技术的飞速发展，网络信息呈现出爆炸性的增长趋势，传统的网络爬虫技术已经不能满足人们对获取信息准确性、全面性、及时性的需求，所以，在搜索引擎中使用并行爬虫技术是一种有效的方法，同时更重要的是对现有的网络爬虫程序不断的加以优化，使其质量、覆盖率、效率等指标得

2、以加强。在本文中，将设计一个更有效率的并行网络爬虫系统，并且使用实验系统对网络爬虫技术进行研究，具有重要的应用价值。本文分析了网络爬虫技术在互联网领域应用的现状，介绍了多种并行爬虫的架构，和与这些爬虫架构相关的基本问题。并在此基础上分析了网络爬虫技术实验研究流程，总结出了评价网络爬虫程序优劣性的指标，并将这些指标公式化。同时围绕这些公式化的指标提出了网络爬虫技术实验系统的总体结构和功能结构，并着重研究了为了对这些指标进行优化涉及到的关键问题和技术。基于这些理解，运用先进的信息发布系统和高效率的编程语言详细设计和实

3、现了实验系统数据库和贯穿于网络爬虫技术系统实验工作始终的爬虫应用程序。最后，基于以上工作成果，利用一系列的实验数据集对各种架构下的网络爬虫程序的优劣性进行评估。并把实验结果和网络爬虫程序的工作环境和工作模式综合考虑，得到了在真实环境下各种模式的评测数据。这些结果和本文提出的优化建议将指引未来的程序设计工作可以准确的选取一个最适合的架构，实现最有效率的网络爬虫程序。关键词：网络爬虫、并行化、实验系统、WEB页面、URL、搜索引擎、覆盖率、重叠度、进程间通讯AbstractWebcrawlerisaprogramto

4、downloadandstoreWebpagesontheWebandothermediaWebapplications，whichiswidelyusedinWebsearchengineandcontent—basedWebsiteshow．Inrecentyears，alongwiththerapiddevelopmentofInternettechnology,networkinformationshowsexplosivegrowthtrend．Thetraditionalnetworktechnolo

5、gyofcrawlershavebeenunabletomeetthepeople’Sdemandofgettingaccurate，comprehensive，timelyinformation．Sousingparallelcrawlerinsearchengineisaneffectivewayandatthesanletimethemoreimportantthingishowtooptimizetheexistingcrawler．Ifthecrawlerisstrongenough，thequalit

6、y,coverage，efficiencycanbestrengthened．Inthisarticle，amoreefficientsystemofparallelcrawlerwillbedesigned．Andtheexperimentalsystemofcrawlertechnologyresearchisavaluableapplication．Thispaperanalyzesthecrawlers’currentsituationinthefieldofInternettechnology．This

7、articleintroducedavarietyofparallelcrawlers’structure，andsomefundamentalrelativeissues．Onthebasisthese，theprocessofcrawler’sexperimentalstudyisanalyzed．Afterthatasummaryofthecrawlers’evaluationisachievedandtheindicatorsisformulated．Atthesametime，aroundwiththe

8、formulatedindicators，thecrawlerexperimentalstudy’Soverallstructureandfunctionstructureismade．Andmakeafocusonstudyingthekeyissuesinvolvedinoptimizingthoseindicators．Basedontheseunderstandi