基于lucene的个性化搜索引擎研究与实现

《基于lucene的个性化搜索引擎研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：_G350密级：公开UDC：单位代码：10424学位论文基于Lucene的个性化搜索引擎研究与实现刘鹏申请学位级别：硕士学位专业名称：情报学指导教师姓名：何明祥职称：副教授山东科技大学二零一二年五月论文题目：基于Lucene的个性化搜索引擎研究与实现作者姓名：刘鹏入学时间：2009年9月专业名称：情报学研究方向：信息系统工程指导教师：何明祥职称：副教授论文提交日期：2012年5月论文答辩日期：2012年6月授予学位日期：THERESEARCHANDIMPLEMENTATIONOFPERSONA

2、LIZEDSEARCHENGINEBASEDONLUECNEADissertationsubmittedinfulfillmentoftherequirementsofthedegreeofMASTEROFMANAGEMENTfromShandongUniversityofScienceandTechnologybyLiuPengSupervisor:AssociateProfessorHeMingxiangCollegeofInformationScienceandEngineeringMay201

3、2声明本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和世所公认的文献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交于其它任何学术机关作鉴定。硕士生签名：日期：AFFIRMATIONIdeclarethatthisdissertation,submittedinfulfillmentoftherequirementsfortheawardofMasterofManagementinShandongUniversityofScienceandTechnology,iswhollym

4、yownworkunlessreferencedofacknowledge.Thedocumenthasnotbeensubmittedforqualificationatanyotheracademicinstitute.Signature:Date:山东科技大学硕士学位论文摘要摘要伴随着WWW的发展，基于WWW的信息获取技术——搜索引擎技术出现并得到迅速发展。由于互联网的开放性，使搜索引擎可以面向普通用户，用户需求进一步推动其发展。个性化搜索引擎正是在考虑用户兴趣差异的基础上，借助数据挖掘技术对用

5、户搜索的信息进行再处理，从而使返回给用户的搜索结果更加贴近用户真实需求。随着信息爆炸性增长及信息多元化发展，个性化搜索引擎逐渐成为研究热点和发展趋势。本文对它的主要技术进行研究并实现了一个基于Lucene的个性化搜索引擎原型系统。本文针对个性化搜索引擎所做的主要工作体现在以下几个方面：1.分析个性化搜索引擎的体系结构。个性化搜索引擎在体系结构上不同与传统搜索引擎的部分在于其个性化模块部分，该模块负责用户兴趣模型的建立和更新、网页的个性化排序。2.用户兴趣模型的建立。个性化搜索引擎的关键就在于用户兴趣信

6、息的获取，本文通过分析用户历史搜索记录，采用TF-IDF算法得出用户特征词的权重值，若该特征词的权重值大于某个阈值时，将该特征词设定为用户兴趣词，将其保存到用户兴趣库。3.提出SLR排序算法。该算法包括两个主要计算过程，一是计算用户兴趣词和页面内容的相似度，二是通过分析页面的入链和出链数量计算页面的链接得分，这两个计算步骤分别从页面内容和页面结构上分析了该页面对于用户的重要程度，从而使返回的页面排序更加符合用户的需求。4．实现了一个基于Lucene的个性化搜索引擎原型系统。该系统选择扩展性好的Hert

7、itrix抓取网页信息；使用Lucene对网页信息建立索引及对网页信息进行检索。通过对该系统的性能检测，有较好的准确率，基本达到本课题的预期目标。关键词:Lucene；个性化搜索引擎；排序算法；兴趣模型；检索山东科技大学硕士学位论文AbstractAbstractAftertheWWWappear,thetechnologyofinformationacquisitionbasedonWWW——searchenginetechnologyappearanddevelopmentrapidly.With

8、theopennessoftheInternet,thesearchenginecanbeforthegeneraluser,meanwhile,theneedsofusersfurtherpromoteitsdevelopment.Inconsiderationofuser’sdifferentinterest,personalizedsearchenginecanprocesstheinformationofuserssearchfor,throug