垂直搜索引擎的设计开发

《垂直搜索引擎的设计开发》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中山大学硕士学位论文垂直搜索引擎的设计开发姓名：刘琦申请学位级别：硕士专业：软件工程指导教师：李中华20100602论文题目摘要论文题目：垂直搜索引擎的设计开发专业：软件工程硕士生：刘琦指导教师：李中华摘要随着计算机技术和互联网技术的快速发展，网络上的信息量也急剧增加。面对如此巨大的信息，搜索引擎的出现在一定程度上给人们带来了方便。通过搜索引擎，人们可以快速地访问一些自己不知道的网页，从中获取到很多有用的信息。然而，很多搜索引擎在搜索信息时往往会产生一些问题，如搜索到的页面过多、网页重复、网页数据更新慢、符合搜索要求的网页比较少等。而垂直搜索技术的产生很好的解决了这些问题

2、，它为人们提供的不再是成千上万的相关网页信息，而是范围很小，且极具针对性的具体信息。本论文以手机资源为背景，通过运用扩展Heritrix和Lucene，初步构建出了一个检索结果比较精准的垂直搜索引擎。本文主要的研究工作分有以下四个部分：(1)通过定制和扩展Heritrix这个由Java开发的、开源的Web网络爬虫来从互联网上爬取相关的信息资源；(2)利用HtmlParser工具对爬取的信息进行分析和抽取；(3)深入研究Lucene以及及其相关的技术，将Lucene成功地运用到了系统当中，从而为系统提供更好的全文索引／检索服务；(4)设计了MVC的查询接口。关键词：垂直搜索

3、引擎、本体、Heritrix、Lucene、信息抽取、MVC论文题目Title：DesignanddevelopmentofverticalsearchenginesMajor：SoftwareEngineeringName：QiLiuSupervisor：ZhonghuaLiAbstractWiththerapiddevelopmentofcomputerandIntemettechnology,theinformationincreasesdramatically．Accordingwithsuchhugeinformation，theemergenceofsearc

4、henginebringsconveniencetopeopleincertaindegree．PeopleCanaccesstotheWebpagesquicklythattheydon．tknowandobtainalotofusefulinformationbysearchengine．However,lotsofsearchenginesoftencausesomeproblems．Forexample，manyunwantedpagesandtherepetitionofpageswillbesearched．Ittakesalotoftimetoupdatet

5、hedataandtherearefewpagesthatarerequired．ButtheappearanceofVerticalSearchtechnologyfiguresouttheseproblems，whichnolongerprovidesthousandsofrelatedinformationonpagesbutlimitstherangeandfocusesonspecificinformation．Thispaperdiscussesaboutcellphoneresource．Itinitiallycomesupwithaverticalsear

6、chwithfairlypreciseoutcomethroughexpandingtheuseofHeritrixandLucene．Themajorresearchworkofthispaperisdividedintofourparts．Firstly,bycustomizingandextendingtheHeritrix,whichisaWebCrawleranddevelopedinJavatocrawlsomeinformationfromIntemet．Secondly,I'llhavetheinformationthatwecrawledanalyzed

7、andcrampoutsomeofthatwiththetoolofHtmlParser．Thirdly,I'llhaveadeepresearchaboutLuceneandtherelatedtechnologytoapplytothesystemsuccessfully，thusprovideabetterfull-textindexorretrievalserviceforthesystem．Finally,thesystemdesignsaMVCconnector．KeyWords：VerticalSearchEng