基于领域的网络爬虫技术的研究与实现new

《基于领域的网络爬虫技术的研究与实现new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、武汉理工大学硕士学位论文基于领域的网络爬虫技术的研究与实现姓名：谭龙远申请学位级别：硕士专业：计算机应用技术指导教师：潘昊20090401摘要随着Web信息爆炸式的增长，如何有效的在Web中获取有用的信息已变得及其困难。搜索引擎在信息检索中扮演着重要的作用，已经为人们在日常生活中进行信息检索不可缺少的工具。Yahoo、Google、MSN、百度等商业搜索引擎正是众多通用搜索引擎中最成功的典范，但随着网络变得越来越复杂，这些通用的搜索引擎也有时会在信息领航中也会迷失方向。然而，最近几年对各种搜索技术的研究方兴未艾，基于P2P技术的流媒体搜索、元搜索技术、垂直搜索技术等都成为了搜索

2、领域研究的热点。本文的核心工作就是对主题相关的网络爬虫进行研究。首先深入分析一个大规模的搜索引擎，细述了其工作原理，常用的几种搜索策略，并分析了其优劣点，随后从两个方面分析了WEB爬虫的技术实现困境：一是通用搜索引擎需要解决的技术问题，二是通用搜索引擎存在的局限性。接着给出了主题相关的网络爬虫的实现框图。考虑到如何克服高度并发、以及对网络带宽的占用问题，提出了设计一个DNS解析器，以便于有效的利用网络带宽，减少网络传输延时；为了高效的对页面进行抓取，保证在进行并行抓取时，各进程间通信的问题，让各个组件之间高效的工作，在设计中引入了非阻塞套接字技术。URL的调度技术在网络爬虫系统

3、的设计中起着关键的作用，提出了基于概率模型的启发示度量规则，让我们的网络系统有着更加智能的路由功能，以便于始终可以向着用户设定的主题进行页面获取。在给出了基于概率模型的启发示度量规则后，更进一步的提出了基于最佳优先搜索的隧道技术，用于克服对某个主题在进行抓取多次后，若偏离了原先的主题，可以让其迅速停止工作，从而在URL队列中选取下一个URL作为下一次的页面抓取出发点。考虑到技术的完整性，简要的给出网络爬虫的其他相关技术的实现。文本分类是主题网络爬虫不可缺少的技术组件。本文提出了一种改进的贝叶斯分类算法，通用的贝叶斯分类器认为所有的所有词项的重要性都是等概率的，在这里认为应更加的

4、倾向于各标题中的词项。最后，设计了一个Focused．Crawler的原型，给出实验数据。通过对比，分析、测试、比较了各算法之间的优劣。关键词：网络爬虫，文本分类，概率模型，搜索引擎AbstractWiththeexplosivegrowthoftheWebinformation，howtoeffectivelygetusefulinformationintheWebhavebecomedifficulties．SearchEngineplayanimportantroleinInformationRetrievalforpeopleintheirdailylivesandbe

5、comeanindispensabletoolwhensearchinInternet．Yahoo，Google，MSN，andBaiduarethemostsuccessfulexamplesinthoseofthelargenumberofcommercialgeneral—purposesearchengines．Thesegeneral-purposesearchenginesaresometimesloseitsdirectionasnetworksbecomemorecomplex．However,inrecentyearsvarioussearchtechnolo

6、giesemerging，suchasstreamingmediasearchbasedonP2Ptechnology，metasearchtechnology，verticalsearchtechnologyhavebecomeahotresearchinthefieldofsearch．Thecoreworkinthispaperisstudyingdomain-basedCrawler．Firstly，weanalyzealarge—scalesearchenginedeeply，stateitsworkingprincipleindetails，andanalyzeth

7、eiradvantagesanddisadvantagesinseveralcommonlyusedsearchstrategy，andthenanalyzedthedifficultiesofWebcrawlertechnicalimplementationfromtwoaspects．First，sometechnicalissuesmustberesolvedingeneral-purposesearchengines，andtheotheristhelimitationofthese