主题爬行策略与算法研究综述

《主题爬行策略与算法研究综述》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、主题爬行策略与算法研究综述［摘要］主题爬行是专业搜索引擎的基础，爬行策略与爬行算法是主题爬行技术的核心，通过分析主题爬行的基本原理，对爬行策略与爬行算法进行分类比较，展示爬行策略与爬行算法的研究进展及当前研究热点，为主题爬行技术的进一步研究提供参考。［关键词］搜索引擎主题爬行爬行策略爬行算法［分类号］TP391搜索引擎技术自诞生之日起就成为互联网中最吸引人的技术之一，各种商业化的搜索引擎已经成了人们使用互联网时不可缺少的工具。传统搜索引擎的工作原理是服务提供商利用网络爬虫(Webcrawler,也被称作网络蜘蛛(W

2、ebspider)或网络机器人(robot),通过一些种子站点按照深度优先或者广度优先的搜索策略对可以爬行到的资源进行扫描、下载，并将下载的信息以快照或全文方式存储在数据库中，建立相关索引，当用户在搜索引擎的用户界面中输入搜索关键字后，搜索引擎访问数据库，返回数据库中与搜索关键字匹配的纪录。随着互联网中网页资源的快速增长，传统的搜索引擎在某些方面的缺陷也越来越明显：①搜索结果不够全面。传统搜索引擎希望镜像整个Web世界,搜索引擎追求的是尽量多的处理及存储网络爬虫爬回的网页，但不同的搜索引擎由于受到服务器位置、网络带

3、宽、爬行算法、服务器容量等因素的影响，服务器中存储的资源是有限的，任何一个搜索引擎不可能存储并索引网络上所有的网页信息。即使是全球最大的搜索引擎Google,其索引的页面数量也仅占Web总量的40%左右。②搜索周期增加，影响信息的实效性。随着Web资源的快速增长，传统搜索引擎网络爬虫的爬行周期不断增加，数据库更新时间越来越长。每一个网页都有自己的生命周期，网页的更新速度可能会快于搜索引擎数据库的更新速度，当搜索引擎把数据库中已经过期的信息反馈给用户时，用户可能根本无法打开相关链接或者打开的是过期的网页。③搜索结果的

4、针对性不强。用户输入一个关键字后返回很多结果，但存在大量重复，很多结果并不是用户需要的。通过对欧洲和美国9个主要的搜索引擎日志的统计分析，认为用户对于搜索结果的查看呈减少趋势。普通用户仅仅会察看搜索引擎返回的前若干条数据,对于其他搜索结果，很多用户没有耐性全部看完。不同专业背景的人，对于同一个关键词的理解可能大相径庭，同样的“苹果”一词，有人可能理解成为食品,有人可能理解成为苹果公司或者其IT产品。鉴于传统搜索引擎的这些缺陷，一些学者提出了垂直式搜索引擎的概念，即该搜索引擎不以爬行所有的Web页面为目标，仅仅在互联

5、网中快速爬行某一部分Web页面并存储，这样的搜索引擎既可以节约网络带宽资源，又可以缩短搜索引擎数据库的更新周期，使搜索引擎得到实时性更好的网页。DeBra等最先提岀的主题爬行(topiccrawling)搜索引擎通过限定爬行主题，提高了搜索精度，成为垂直式搜索引擎的代表。主题爬行技术的核心是爬行策略与算法，本文从主题爬行技术的基本原理出发，对其策略进行分类，沿着爬行策略及算法的改进，分析了主题爬行策略与算法的研究热点，为主题爬行技术的进一步研究提供参考。1主题爬行原理主题爬行是在传统网络爬行技术基础上，加入文本分类

6、、聚类以及Web挖掘等相关技术用于捕获特定主题的Web信息。主题爬行技术的应用可以提高搜索精度，降低搜索引擎对网络资源的占用，缩短搜索引擎数据库的更新周期。基于主题爬行技术的搜索引擎与传统搜索引擎最大的区别在于：该搜索引擎的网络爬虫是面向主题的。传统搜索引擎的网络爬虫在爬行过程中采用的是“通吃”策略，不分类别、不分内容全部爬行并下载；基于主题的网络爬虫在爬行前或者爬行过程中根据已经爬行的结果有选择性的进行预测下一步爬行并下载。主题爬行过程通常由三部分构成：①分类器(clas-sifter),主要对己抓取网页的元素进

7、行计算，判断其主题相关度，确定是否对该网页中所包含的超级链接进一步抓取；②提取器(distiller),该模块存储待下载队列，并确定待下载队列的优先级；③爬行器(crawler),该模块在分类器和提取器的指导下，执行网页抓取工作。主题爬虫的爬行过程为爬行器根据不同的爬行策略执行爬行操作，抓取网页送人分类器中,分类器对已经抓取的网页进行处理，根据设定主题及其域值判断该网页的主题相关性，结合其他参数，确定是否对该网页包含的超级链接进一步爬行。如果爬行，则送入提取器中的队列，由提取器根据队列规则确定其爬行优先极。Chak

8、rabarti等人1999年正式提出了个性化主题搜索引擎的概念，该搜索引擎不以传统的关键词作为搜索内容，而是在某一限定范围内，通过计算Web页面内容与主题的相关性，决定主题爬虫是否值得进一步搜索。其中，主题是由一些范例文档来确定的，该主题爬虫实时查找与文档词典有相关性的网页，保证了搜索页面的时效性与针对性。2主题爬行基本爬行策略与算法主题爬行技术的核心是爬行