游戏垂直搜索引擎 基于Heritrix网络爬虫的搜索引擎DEMO系统---毕业论文.doc

游戏垂直搜索引擎 基于Heritrix网络爬虫的搜索引擎DEMO系统---毕业论文.doc

ID:11608163

大小:2.57 MB

页数:45页

时间:2018-07-12

游戏垂直搜索引擎 基于Heritrix网络爬虫的搜索引擎DEMO系统---毕业论文.doc_第1页
游戏垂直搜索引擎 基于Heritrix网络爬虫的搜索引擎DEMO系统---毕业论文.doc_第2页
游戏垂直搜索引擎 基于Heritrix网络爬虫的搜索引擎DEMO系统---毕业论文.doc_第3页
游戏垂直搜索引擎 基于Heritrix网络爬虫的搜索引擎DEMO系统---毕业论文.doc_第4页
游戏垂直搜索引擎 基于Heritrix网络爬虫的搜索引擎DEMO系统---毕业论文.doc_第5页
资源描述:

《游戏垂直搜索引擎 基于Heritrix网络爬虫的搜索引擎DEMO系统---毕业论文.doc》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、本科毕业论文游戏垂直搜索引擎:基于Heritrix网络爬虫的搜索引擎DEMO系统GameVerticalSearchEngine:SearchengineDEMOsystembasedonHeritrixwebcrawler姓名:学号:学  院:软件学院系:软件工程专业:软件工程年级:指导教师:年月摘要搜索引擎是互联网检索技术的核心,随着互联网的迅速发展,目前的综合搜索引擎已无法满足用户的需求,这就成就了垂直搜索引擎的蓬勃发展。垂直搜索是针对某一个行业的专业搜索引擎,是搜索引擎的细分和延伸,相对通用搜索引擎的信息量大、查询不精确、深度不够等提出来的新的搜索

2、引擎服务模式。通过针对某一特定领域或某一特定需求提供的有一定价值的信息和相关服务。本文构建一个关于游戏的垂直搜索引擎,让用户可以在这个游戏搜索网站上,搜索到其需要的游戏信息,并能从搜索结果中打开一个有关详细信息的页面进行浏览。系统使用MyEclipse作为开发环境。后台数据处理使用Lucene索引工具和Heritrix爬虫技术,前台使用JSP技术进行页面设计,后台数据库使用MySQL数据库。设计的目的是让用户可以在网站上搜索其需要的游戏信息,并能从搜索结果中打开一个有关游戏详细信息的页面进行浏览。在系统中,游戏信息是从新浪游戏、17173和迅雷游戏上利用H

3、eritrix抓取下来的。网页经过HTMLParser解析后,得到的游戏详细信息插入到MySQL数据库中,并为该游戏建立Lucene索引。最后构建一个简单的Web平台,对建立的索引和数据库进行整合,为用户提供真正的搜索服务。另外,本文还对Lucene和Heritrix等一些开源java项目进行了简单的介绍。关键词:垂直搜索;搜索引擎;LuceneAbstractSearchengineisthecoreoftheInternetinformationretrievaltechnology,withtherapiddevelopmentofInternet,

4、thecurrenthorizontalsearchenginecan’tsatisfytheseInternetusers,whichgivesagoodopportunitytoverticalsearchenginetodevelop.Verticalsearchisaprofessionalsearchengineinoneindustry,isthesubdivisionofsearchengine.Comparedwithhorizontalsearchenginewhichishugeinformation,inaccurate,noteno

5、ughdepth,theverticalsearchengineputforwardanewmodelsearchengineservices.Verticalsearchengineprovidesspecialinformationandrelatedservicestoaparticularareaoraspecificdemandforacertainvalue.Thisarticlebuildsaverticalsearchengineforgameindustry,providingtheusertosearchinthisgamewebsit

6、e,searchingforgameinformationwhichtheyneed,andtheycanclickthesearchresultstoopenadetailedinformationpage.ThesystemusesMyEclipseasadevelopmentenvironment,andusesLuceneindextoolandHeritrixcrawlertechnologytodobackgrounddata-processing,andusesJSPtechnologytodesignthefrontpages.Beside

7、s,itusesMYSQLasthebackgrounddatabase.Theaimofthisdesignistomaketheuserssearchforthegameinformationoftheirneedsinthewebsite,andclickthesearchresultstoopenadetailedgamepagetobrowsethegameinformation.Inthesystem,gameinformationisfromSina,17173,andThunderwebsitesbyusingtheHeritrixcraw

8、ler.AfterbeenanalyzedbyHTMLParser

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。