基于神经网络的网页排序学习算法研究

《基于神经网络的网页排序学习算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中山大学硕士学位论文基于神经网络的网页排序学习算法研究姓名：吴桂宾申请学位级别：硕士专业：计算机软件与理论指导教师：汤庸;舒忠梅20090506基于神经网络的网页捧序学习算法研究摘要论文题目：基于神经网络的网页排序学习算法研究专业：计算机软件与理论硕士生：吴桂宾指导教师：汤庸教授、舒忠梅讲师摘要随着互联网的发展，搜索弓l擎的重要性与日俱增。如何有效的查找需要的信息是非常关键的，一个好的搜索引擎可以极大的节省用户查找信息的时间。搜索引擎包含多个组成部分，其中网页排序是搜索引擎设计的核心问题，排序结果的准确率直接决定了搜索引擎的性能和用

2、户体验。信息检索领域中有许多的网页排序算法，其中以样本对级别方法的模型应用比较广泛。在样本对级别方法的模型中，有一类是基于神经网络结构的，其中以RankNet算法比较具有代表性。RankNet算法虽然简单易用，却也存在着样本对级别方法本身固有的不足：查询之间不具备平等性；每一个文档序对是平等的，各文档序对之间没有优先关系。这是与网页评价标准的原则相违背的。本文提出了对基于样本对级别方法的神经网络排序算法的改进思路。文章以RankNet算法为例，对其进行了改进。一是构造了新的误差函数，对误差函数加一入查询的平等性信息，并结合神经网络的

3、特点，分析了不对其加入文档位置权重信息的原因；二是对神经网络的训练过程也进行了改进，通过扩充训练样本集，使其加入查询的平等性信息和文档位置权重信息，使模型的学习过程更符合网页评价标准的原则，以达到提高排序精度的目的。本文在LETOR(TREC2003，TREC2004，OHSUMED)数据集上进行了实验，分别利用2层神经网络模型和3层神经网络模型来进行学习。并且通过交叉校验的方法来避免过拟合。实验采取了多个评估指标进行衡量。实验结果表明改进算法比起原有的RankNet算法能够有效的提高网页排序的精度。关键词：网页排序、样本对级射、查

4、询平等性、文档位置权重、神经网络基于神经网络的网页排序学习算法研究AB锄ACTTitle：ResearchonLearningtoRankforWebSearchBasedonNeuralNetworkMajor：ComputerSoftwareandTheoryName：缪台GuibinSupervisor：ProfessorTangYongoLecturerShuZhongmeiABSTRACTAsIntemetdevelopsrapidly,searchenginebecomesmoreandmoreimportant．It’

5、Scriticaltosearchinformationeffectively,thereforeagoodsearchengineCansaveusers’time．Searchengineincludesanumberofcomponents，andthekeypoiIltispage珊蝇theresultofpagerankingdeterminesthesearchengine’SperformanceandUsel"Stexperience．Therealemanypagerankingalgorithmsinthefie

6、ldofinformationretrieval，whilethemodelsusingpairwisemethodaremorepopular．Inthesemodels,somearebaseonneuralnetwork，andRankNctisoneofthesemodels．RankNetissimple，butalsohasshortcomings：queriesalenotequal，anddocumentpairsareequal，whichiscontrarytotheprincipleofpagerankinge

7、valuationcriteria．Thispaperproposesmethodstoimprovepagerankingalgorithmsbaseonpall'wiseandneuralnetwork,andusesRankNetasanexampletoillustrate．Firstlyitdesignsanewlossfunction晰tllinformationaboutequalityofqueries，andanalyzeswhynotincludinginformationaboutweightsofdocume

8、nts'positions．Secondlyitimprovesthetrainingprocessofneuralnetwork,byexpandingthesizeoftrainingsampleset,makingthetrai