搜索引擎中大型网站的网页更新策略研究

《搜索引擎中大型网站的网页更新策略研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、湖南大学硕士学位论文搜索引擎中大型网站的网页更新策略研究姓名：易显申请学位级别：硕士专业：软件工程指导教师：欧阳柳波;刘金朝20100421搜索弓f擎巾大型网站的网页更新策略研究摘要在互联网飞速发展的今天，网络逐渐成为人们获取信息的一个不可或缺的途径，因此基于Internet信息检索的搜索引擎应运而生并蓬勃发展起来。但是随着网页数量的爆炸式增长，网页内容时常变化，导致搜索引擎无法及时跟踪网页本身的内容变化情况。加上搜索引擎又受存储容量、服务器能力等硬件资源的限制，目前的搜索引擎普遍存在索引库更新不及时，查询结果质量不高等问题。如何在这些客观条件的制约下，设计一种高性能

2、高效率的网页更新策略，使得搜索引擎抓取更高质量的网页，提高网页库的新鲜度，已成为搜索引擎迫切需要解决的问题。大型网站是Web的信息核心，也是搜索引擎的主要信息来源，对大型网站网页处理的好坏直接影响搜索引擎的整体性能。因此本文试图通过对大型网站网页的高效更新来提高搜索引擎索引库的更新度。本文在对搜索引擎网页更新策略进行相关研究的基础上，深入地分析比较了现有的三大类网页更新策略，确定了对大型网站的网页进行分类更新的必要性。本文针对大型网站的网页特征，综合考虑网页时新性、重要性及对Web服务器的友好性等因素，设计了一种面向用户体验的分类网页更新策略。此方法以大型网站网页的变

3、化历史为基础来评估其改变频率，将网页分成速变、多变及少变三类，然后基于用户行为分析确定不同类别网页的更新速度和更新时间段，从而实现网页更新。最后利用Lucene工具包设计并实现了一个分类网页更新系统，对新浪和搜狐这两个知名大型站点若干网页进行实验采样分析。实验结果表明这种策略很大程度上提高了搜索引擎中大型网站网页更新的效率，缓解了Web服务器的压力，并可保证用户对于检索结果的及时性和正确性。关键词：大型网站；搜索引擎；网页更新；用户体验IIAbstractWiththerapiddevelopmentofInternetnowadays，networkbecomesa

4、nindispensablemeanstogetinformation．ThesearchenginesbasedonIntemetinfo咖ationretrievaloccursanddevelops．However，asthenumberofpagessoars，thecontentofpageschangesfrequently,whichresultsthatthesearchengmecan'ttrackthedynamiccontentofpages．Andwiththelimitofstoragecapacity,seⅣerbottleneckando

5、therhardwareresourceconstrain，thereexistseveralproblemssuchastheindexdatabasecannotbeupdatedtimely,andthequalityofqueryresultISnotideal．Thus，howtodesignanefficientupdatestrategyforpagesbecomesaKeYproblemforextractionofhighqualitypagesandimprovementofpages7freshness·Large．scalewebsiteist

6、hecoreofinformationandthemainsourceotsearcnengines．Whethertodealwiththelargescalewebsiteeffetelyornothasdirect1mpactontheoverallperformanceofsearchengines．Inthispaper，effortsaremadetoimprovethefreshnessofindexdatabasebyefficientrefreshoflarge‘sealewebpages·Basedontheinterrelatedresearch

7、ofthepagesrefreshstrategy,theanlcleembeddedanalyzedandcomparedthreecategoriesstrategywhichhavebeenkePt，andconfi彻edthenecessaryforclassificationupdatethepageoflarge-SCalewebsite．Contraposethefeatureoflarge．scalesite，thisarticleconsideredsuchfactorsastheimportanceandfreshnessofWe