基于mongodb的旅游垂直搜索系统的设计与实现

《基于mongodb的旅游垂直搜索系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的分析工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的分析成果。对本文的分析做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容

2、编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于 不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要国民经济快速发展以及人们生活水平不断提高带动了国内旅游行业飞速发展。互联网技术给人们获取信息的方式带来了根本性变革，人们越来越习惯通过互联网获取所需的信息。在旅游行业及其相关领域国内已经存在大量的网站，但这些网站多少都存在一些问题，主要表现为有效信息少、垃圾信息多、用户体验差、内容没有

3、特色等，人们面对鱼龙混杂的的海量信息通常无所适从。通用搜索引擎通常作为信息检索的入口，但在精确查询目标信息方面表现的力不从心，不能满足人们快速、准确地获取目标信息的需求。在这样的背景下，就产生了既能提供全面、准确的旅游相关信息又能简单、快速地为人们提供旅游信息检索服务的旅游垂直搜索引擎。旅游垂直搜索引擎是垂直搜索技术在旅游行业及其相关领域的实际应用。本论文对垂直搜索引擎的理论和技术进行了分析和分析，主要包括网络爬虫系统Heritrix，页面解析和信息提取技术，全文检索系统Lucene。针对系统业务数据存储，分析研究了Mong

4、oDB分布式文档存储系统，并对分布式架构中的选举算法和数据同步原理进行了详细阐述。在前面分析和分析相关技术和工具的基础上设计并实现了旅游垂直搜索系统。系统使用Heritrix爬取网络页面，然后使用Jsoup和正则表达式解析网页文件，精确提取所需的数据，再使用Lucene对提取的结构化的数据建立索引，同时基于Lucene的全文检索功能实现了对酒店和景点信息的全文检索。本系统使用双数据库模式，使用Mysql存储结构化、数据结构比较固定的数据，使用MongoDB存储酒店和景点业务数据。系统数据存储模块实现了MongoDB分布式部署

5、，并对系统的可拓展性、稳定性、负载平衡性以及性能进行了基本评估。最终实现了高性能、高稳定、负载平衡、易拓展的旅游垂直搜索系统。关键词：垂直搜索页面抓取信息提取信息检索分布式系统I华中科技大学硕士学位论文ABSTRACTTherapidgrowthofthenationaleconomyandongoingimprovementofpeople'slivingstandardshavedriventherapidgrowthofdomestictourismindustry.Internettechnologychangedt

6、hewaythatpeopleaccesstoinformation,peoplearemorelikelytoaccessinformationwhichtheyneededthroughtheInternet.Inthedomestictourismindustryandfieldslotsofrelatedwebsitesalreadyexists,butthesewebsiteshaveproblemsmoreorless,mainlyaslackofvalidinformation,toomuchuselessin

7、formation,pooruserexperience,mediocrecontentsandsoon,peopleareusuallyconfusedbytheunevenqualityofthedatawhentheyfacedwiththishugeamountofinformation.Generalsearchengineisusuallyusedastheentranceofinformationretrieval,butnotsoeffectivewhenusedtoretrievespecificinfor

8、mation,itdoesn'tmatchtherequirementtoaccessinformationquicklyandaccurately.Inthiscontext,travelverticalsearchengineisproducedwhichcanprovidecompr