主题信息采集与检索结果排序策略的研究与实现

《主题信息采集与检索结果排序策略的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、东北大学硕士学位论文主题信息采集与检索结果排序策略的研究与实现姓名：刘畅申请学位级别：硕士专业：计算机系统结构指导教师：刘辉林20070101东北大学硕士学位论文摘要主题信息采集与检索结果排序策略的研究与实现摘要Intcmct己经成为目前世界上最大的信息资源库，但是网上信，宙．资源纷繁芜杂，如何满足人们对快速、准确而全面获取信息的要求，已经成为摆在人们面fji『的一大难题。本文主要探讨了主题的相关技术在搜索引擎系统中的应用，针对主题信息采集与检索主题相关性排序设计并实现了这两种策略。这篇论文主要从理论和实践两个方面探讨了面向主题搜索中的两个关键算法一一主题信息采集和检

2、索主题相关性排序。在主题信息采集方面：将基于内容的相关度判定和基于链接的相关度判定算法相结合，设计了一种更优的主题信息采集策略。该策略兼顾了网页的相关性和主题精度，能够在不遍历大量无关页面的情况下，获得期望页面，提高主题相关页面的获取效率和准确性；在检索主题相关性排序方面：结合了网页重要度、网页主题相关度和查询相关度的评价。网页重要度的评价有效地利用了Web所拥有的庞大链接构造的特性，将重要的网页给与较高的评价：网页主题相关度的评价不仅具有清晰、简单、较小的计算复杂度等特点，而且能够很好得计算网页与主题的相似程度。查询相关度的评价描述了索引网页与用户查询的相似程度。这

3、三个评价的结合可以使质量好的满足用户需求的主题页面排在返回结果的前面。试验结果显示，从查准率、查全率以及检索结果来看，该工作是有效的，提出的策略有很强的实际可行性。文章的最后对两种算法做以总结，并对未来的工作进行了展望。关键词：采集策略；主题相关度；向量空间模型；PageRank东北大学硕士学位论文AbstractStudyandImplementationofFocusedCrawlingandRetrievalRankingStrategyAbstractInteme=tisbecomingtobethelargestinfobasealthoughtheWebi

4、sfullofamassofpages．Itisthegreatproblemfacingtotheinformationscientiststhathowtomakepeopleobtaintheinformationquicklyandaccurately．Thispaperdiscussesthetechnologyoftopicrelatedtechnologybothontheoryandapplication．Andthispaperdesignsandimpliestwoalgorithmsonfocusedcrawlingandretrievalran

5、king．Bothontheoryandapplication，thispaperisgoingtodealwithtwomainalgorithmsinfocusedcrawling，thesebeingfocusedcrawlingstrategyandretrievalrankingstrategy．Infocusedcrawlingstrategy,thispaperdesignsabettertopicstrategybasedonthecontentandlinksrelatedalgorithms．Thestrategytakescareoftheweb

6、relevanceandtopic-accuracy．SothatthewebsitecallnotbetraversedalotofirrelevantpagesandtheexpectedPagewillbegot．Thestrategyimprovestopic·pagescollectionefficiencyandaccuracy．Thispapershowsantheralgorithminretrievalrankingbasedontheimportanceofweb，therelevanceoftopic—webandtherelevanceofin

7、quiry．Basedonfeaturesofhugewebstructure，evaluationoftheimportantwebgiveshigherscorestomoreimportantwebpage．Thefeatheroftherelevanceoftopic·webevaluationisclear．simpleandlittlecalculationandthestrategyCancalculatesimilaritybetweenwebandthetopicverywell．Therelevanceofinquiryevalu