基于nutch的新闻主题搜索引擎的设计与实现

《基于nutch的新闻主题搜索引擎的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、山东大学本科毕业论文毕业论文(设计)论文（设计）题目:基于Nutch的新闻主题搜索引擎的设计与实现姓名学号学院专业年级指导教师2014年5月20日山东大学本科毕业论文目录摘要IABSTRACTII第1章绪论11.1课题研究背景11.1.1搜索引擎发展史11.1.2通用搜索引擎面临的问题31.2主题搜索引擎31.2.1什么是主题搜索引擎31.2.2主题搜索引擎研究现状41.3文本组织结构5第2章主题搜索引擎相关技术介绍62.1JavaCC简介62.2Tomcat简介82.3Nutch介绍92.3.1系统架构92.3.

2、2抓取过程详解112.4中文分词技术132.4.1基于字典匹配的分词方法142.4.2基于词频统计的分词方法142.4.3基于语义理解的分词方法152.4.4IK分词器简介152.5本章小结15第3章爬虫搜索策略的研究163.1基于链接结构特征163.1.1PageRank算法163.1.2HITS算法183.1.3本文实现的算法193.2基于内容评价203.2.1FishSearch算法203.2.2SharkSearch算法213.3其他相关策略233.3.1基于巩固学习的聚焦搜索233.3.2基于语境图的聚焦

3、搜索233.4本章小结2346山东大学本科毕业论文第4章主题搜索引擎的实现244.1开发环境介绍244.2系统的体系结构244.3主题爬虫的配置254.3.1配置Java环境254.3.2配置Nutch254.4Tomcat的配置264.5添加中文分词284.6系统测试304.7本章小结31第5章总结与体会32致谢33参考文献34附录：3546山东大学本科毕业论文摘要互联网上丰富的信息资源给人们的工作和生活带来巨大效益和便利的同时，也带来了巨大的信息冗余。我们在使用传统的通用搜索引擎时，经常会遇到这样的问题，为了搜

4、索到一些专业的基础知识，不得不在众多的网站中，花费大量的时间去寻找，而主题搜索引擎的出现为解决这类问题提供了很好的方法。另外，由于Nutch具有高透明度，任何单位或个人都可以查看搜索引擎的工作原理并且程序设置灵活，用户可以根据自己需求定制，通过长时间的实际应用，结果表明Nutch运行非常稳定，因此选择Nutch为爱好搜索引擎的人们提供了一个很好的研究平台。本课题的主要内容是基于Nutch的新闻主题搜索引擎的设计与实现。现在很多人都喜欢从互联网阅读新闻，但是各大新闻网站为了获得点击率收录了很多低质量新闻，而报纸网站很

5、难满足人们对不同地域和不同类型新闻的需求，所以一个新闻主题的搜索引擎是十分有必要的。论文首先介绍了搜索引擎的发展历史、面临的问题，以及主题搜索引擎的的优势和研究现状，并在了解Nutch工作原理的基础上对主题爬虫抓取策略进了详细的讨论，分析了新闻主题搜索引擎的可行方案，接着介绍了Nutch、Tomcat等各组件的安装配置，测试运行结果并与百度做比较。最后对论文进行了总结分析。关键字：Nutch；搜索引擎；Crawler；抓取策略；新闻46山东大学本科毕业论文ABSTRACTAbundantInternetinform

6、ationresourcesbringenormousbenefitsandconvenienceforourworkandlife;thesealsobringagreatdealofredundantinformation.WhenweusegeneralSearchEngine,weoftenencounterthisproblem;inordertosearchsomebasicprofessionalknowledge,wehadtospendalotoftimetofindtheknowledgeinm

7、anywebsites.WhiletheVerticalSearchEnginewillsolvethisproblem.Inaddition,Nutchhashighlytransparent,anyunitorindividualcanviewthesearchenginework,andtheprogramconfigurationflexibility,Userscancustomizeaccordingtotheirneeds.Throughalongperiodofpracticalapplicatio

8、n,theresultsshowthatNutchrunsverystable.Therefore,selectingtheNutchSearchEnginecanprovideagoodresearchingplatformforthelovingpeople.TheobjectofthisprojectistosetupaNewsVerticalSear