一种基于相似度值的向量空间投影hits算法

《一种基于相似度值的向量空间投影hits算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、重庆交通大学硕士学位论文一种基于相似度值的向量空间投影HITS算法姓名：刘迪慧申请学位级别：硕士专业：计算机应用技术指导教师：何友全20100401摘要互联网是现代社会人们交流信息、共享资源的主要途径。作为搜索信息的重要平台，互联网所具有的海量数据、异构性、半结构性、极强的动态性、用户多样性等特点却给Web资源的挖掘带来了相当大的难度。传统的数据挖掘技术已不适用于日新月异的互联网，Web数据挖掘技术应运而生。搜索引擎是人们查找网络信息的重要工具，它应用Web数据挖掘技术，可以帮助人们获取到需求的信息。目前有多种搜索引擎算法，但是大

2、多数算法是对Web页面的文本内容进行挖掘，检索结果集过于庞大，用户难以快速地获取到自己所需求的信息，这是困扰人们高效利用信息资源的一项急待解决的难题。近几年，超链接分析的引入和应用为解决这项难题提供了一条崭新的思路，因为互联网链接结构包含了大量潜在的推荐规律，根据这些规律能够推断出许多Web文档内容所不包含的资源，Web结构挖掘成为了Web数据挖掘的一个重要研究方向。HITS(HyperlinkInducedTopicSearch)算法正是在传统搜索引擎查询结果的基础上分析链接结构，对Web数据进行挖掘。本文主要是关于HITS算法

3、的研究，此算法是一种应用较为广泛的Web结构挖掘算法，主要应用在搜索引擎的Web页面结果集排序中。本文首先介绍了Web数据挖掘及其分类，对于其重点研究方向—地b结构挖掘的典型算法进行了归纳，然后深入研究了HITS算法，并对其原理进行了详细地描述。在对HITS算法及其改进算法进行深入研究的基础上，本文提出了一种基于相似度值的向量空间投影HITS改进算法，在传统HITS算法的基础上作出了以下三个方面的改进：1)精简基集。传统HITS算法在根集扩展为基集阶段引入了大量页面，但是其中包含大量同域内的Web页面和广告链接，它们之间的超链接一

4、般仅用于导航目的，不具备参考价值。本文改进的HITS算法对基集进行精简，对同域内的Web页面和无关页面进行判断，予以删除，大大节约了算法的运算开销；2)获取搜索引擎返回的相似度值。考虑到传统搜索引擎爬取Web页面后将文本内容和查询主题表示成词条特征向量，然后通过计算向量的点积来获得两者的相似度值，并随着结果集同时返回给用户，因此采用这些易获取的相似度值来计算超链接与用户查询主题的相关性，不仅可以提高算法区分链接重要性的能力，同时还避免了重复对页面文本内容进行分析，节省了系统开销。3)基于相似度值的空间向量投影方法。将每一特征向量在

5、权威性高的基于相似度值的子空间上进行投影，返回的页面结果集与相似度值高的页面集链接最为密切，在不增加计算开销的前提下有效地抑制了HITS算法的主题漂移现象。本文还设计了实验系统用于验证基于相似度值的向量空间投影HITS算法的可行性和有效性。实验结果表明：本文提出的HITS改进算法在运算开销、权威页面主题相关性以及中心页面主题相关性等方面明显优于传统HITS算法，并且可以有效地抑制主题偏移现象，使得用户查询质量得到了明显的提高。关键词tWeb数据挖掘；HITS算法；链接结构；相似度值；向量投影ABSTRACTInteracthasb

6、ecomethemainapproachforpeopletoexchangeinformationandshareresourcesinmodemsociety．Asanimportantplatformforsearchinginformation，interacthassomecharacteristics，suchasmassdata,heterogeneity,semi-structure，dynamic，userdiversityandsoon．Therefore，itisconsiderablydifficultto

7、minewebresourcesintheIntemet．TraditionaldataminingtechnologyisnotapplicablefortheInternetanylonger．Accordingly,webdataminingtechnologyhasbeendevelopinginrecentyears．Searchengineisanimportanttoolforpeopletosearchinformation．Byapplyingwebdataminingtechnology,searchengin

8、ecanprovidetherequiredinformationtopeoplequicklyandeffectivelyThereareseveralkindsofavailablesearchenginealgorithms．However,