垂直搜索引擎中关键技术的研究

《垂直搜索引擎中关键技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP31单位代码：10190研究生学号：201307024密级：无硕士学位论文垂直搜索引擎中关键技术的研究ResearchonKeyTechnologyofVerticalSearchEngine研究生姓名：张亚凤专业：计算机科学与技术指导教师姓名：郑山红指导教师职称：教授2016年4月长春工业大学硕士学位论文原创性声明本人郑重声明：所呈交的硕士学位论文，《垂直搜索引擎中关键技术的研究》是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发

2、表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。作者签名：年月日长春工业大学硕士学位论文版权使用授权书本学位论文作者及指导教师完全了解“长春工业大学硕士学位论文版权使用规定”，同意长春工业大学保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权长春工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。作者签名：年月日校内指导教师签名：年月

3、日硕士学位论文摘要搜索引擎的出现满足了人们的检索需求，众所周知的百度、Google等搜索引擎已经深深地渗入到人们的日常生活中了。然而Internet数据量已经超出了搜索引擎所能覆盖的范围，全球互联网资源已达数以亿计，人们很难从通用搜索引擎获取自己所需的特定主题领域的信息。垂直搜索引擎的出现，解决了这一难题，实现了特定用户对特定主题信息的准确检索。本文简要介绍了课题研究背景、搜索引擎的基本工作原理以及垂直搜索引擎在国内外的发展现状，阐述了垂直搜索引擎的相关理论，给出了垂直搜索引擎的基本概念、与通用搜索引擎的区别和评

4、价垂直搜索引擎性能的准则。并介绍了垂直搜索引擎的各组成模块及其功能，对垂直搜索引擎中所涉及的核心技术进行了深入的研究，主要有爬虫技术、网页结构化提取技术，中文分词技术和Lucene索引技术，这些技术应用于垂直搜索引擎中的信息采集模块、信息提取模块、索引模块和用户接口模块的实现。其中，信息采集模块利用爬虫技术从Internet网络上爬取数据；信息提取模块是对已下载的网页进行结构化的提取操作；索引模块将提取到的结构化信息建立索引库；用户结构模块给用户提供了一个查询界面，供用户提供查询请求和返回结果给用户。本文主要的研

5、究工作及创新点有：通过扩展和改进功能强大的开源爬虫框架Heritrix，使其对体育用品信息能够实现定向抓取，引入APHash算法，改进队列分配策略，极大地提高了Heritrix爬虫的效率；用体育用品品牌等专业词汇扩充了JE分词工具所用到的主题词库，使其成为特色专业词库，在很大程度上提高了查询的准确率；在对垂直搜索引擎的核心技术和各功能模块的研究基础上，成功搭建了一个面向体育用品信息的垂直搜索系统原型，实现了对体育用品进行简单的查询操作。关键词：垂直搜索引擎Heritrix爬虫中文分词Lucene索引I硕士学位论文

6、AbstractSearchenginesappeartomeettheneedsofpeoplesearch,well-knownBaidu,Googleandothersearchengineshavedeeplypenetratedintopeople'sdailylives.However,InternetdatabeyondthescopeofthesearchenginecancovertheworldhasreachedhundredsofmillionsofInternetresources,it

7、isdifficulttogettheinformationtheyneedspecificsubjectareasfromgeneralsearchengines.Emergenceofverticalsearchengines,tosolvethisproblem,toachieveaparticularusertoretrieveaccurateinformationonaspecifictopic.Thispaperintroducestheresearchbackground,aswellastheba

8、sicprincipleofverticalsearchenginesearchenginedevelopmentstatusathomeandabroad,describesthetheoryofverticalsearchengine,givesthebasicconceptsofverticalsearchengine,whichdiffersfromgeneral