面向商品比价应用的垂直搜索引擎系统设计与实现

《面向商品比价应用的垂直搜索引擎系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、国内图国际图ClassifiedIndex：TP301．6U．D．C：681．14SouthwestJiaotongUniversityMasterDegreeThesisDESIGNANDIMPLEMENTATIoNOFAVERTICALSEARCHENG玳EORIENTEDATAPPLICATIONOFCOMPAⅪSONOFCOMMODITYPIUCEGrade：2010Candidate：MiaoDanAcademicDegreeAppliedfor：MasterofEngineeringDegreeSpeciality：Comput

2、erTechnologySupervisor：Prof．LiTianrui西南交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。本学位论文属于1．保密口，在年解密后适用本授权书：2．不保娜，使用本授权书。(请在以上方框内打“√”)学位论文作者签名日期：少l指导老师签名：日期：．a．-o，厶-7·y西

3、南交通大学硕士学位论文主要工作(贡献)声明本人在学位论文中所做的主要工作或贡献如下：1．实现网页抓取：分析和掌握Heritrix主要的工作流程及相关的技术要点，研究其特有的可扩展性，分析各可扩展模块的对外接口及相应的扩展方式，从而运用Heritrix工具包编写抓取逻辑来抓取网页；2．实现HTML的解析与信息提取：分析和掌握HTMLParserLibrarie一系列访问本地和网络HTML资源的API和其可扩展性，运用HTMLParserLibraries编写逻辑来实现HTML的解析与信息提取；3．实现网页内容索引：分析和掌握Lucene主要架

4、构和各个部件，详细的研究其中的索引模块和检索模块实现机制和原理，运用Lucene工具包实现网页内容索引；4．实现搜索服务发布：运用Ajax技术实现搜索服务的网页交互，生成动态网页，返回用户搜索结果。运用Spring框架实现W曲系统的后台管理。运用JSP技术实现Web系统的前台开发。本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。本人完全了解违反上述声明所引起的一切法律责任将

5、由本人承担。学位论文作者签名日期：加西南交通大学硕士研究生学位论文第1页{mla．曼曼曼曼曼曼曼曼曼曼曼!!曼曼曼曼!曼曼鼍曼曼曼曼曼璺曼曼曼曼曼曼曼曼!!!曼!!曼曼曼曼曼曼曼曼舅曼量皇!曼曼!曼曼曼曼曼曼曼曼曼皇曼曼摘要爆炸式增长的信息和不断发展的互联网技术，使得WEB的信息量急剧增长，格式以及内容不断翻新。通用搜索引擎从海量的信息中准确快速地搜索出特定的内容已经十分困难，如何从网络中的海量信息里快速而有效地查询到所需有价值的信息已成为人们关注的重点。垂直搜索引擎具有“专、精、深’’的特点，可通过面向某一特定的领域、人群或需求仅搜索网络

6、中的特定主题信息，并且聚合信息、处理索引，提供有价值的相关服务和信息，从而提高用户检索时的准确率。随着电子商务的发展，在要求电商信誉和商品质量的前提下，使用B2C购物的消费者越来越多。为了挑选便宜实惠的商品，消费者在购物中常常进行价格比较。垂直搜索引擎技术针对某一特定领域、某一特定人群或某一特定需求提供信息和相关服务的特点与商品比价应用的需求很好地契合。本论文实现一款手机比价系统，以高精度搜索为目标，应用垂直搜索的理论与技术予以实现。本文选取了两家知名数码电商为搜索目标，为用户提供手机的比价搜索服务，摒弃相关性较弱的信息。本文在掌握Heri

7、trix主要的工作流程及相关的技术要点的基础上，运用Heritrix工具包编写抓取逻辑实现了抓取网页；运用HTMLParserLibraries编写逻辑实现了HTML的解析与信息提取；在分析和掌握Lucene主要架构和各个部件，详细研究其中的索引模块和检索模块实现机制和原理的基础上，编程实现了网页内容索引；搭建Spring框架并运用Ajax技术实现了检索和用户接151部分。该比价系统实现了设计中所有需求的功能，满足了用户比价的需求，具有一定的实际应用价值。关键词：垂直搜索；B2C；比价；Heritrix；Lucene；Spring西南交通大

8、学硕士研究生学位论文第1I页曼I——————．I曼曼量曼曼曼曼鼍曼曼曼曼曼皇曼皇曼!曼AbstractTheexplosivegrowthofinformationandthec