分布式实时垂直搜索引擎研究与实现

《分布式实时垂直搜索引擎研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、searchenginebyfUWeiweiB．E．(HunanUniVerSity)2009{lllIlllll⋯II

2、1111lIlIIllllIllI

3、llilⅢlI

4、llⅧjY2065819a1．timeVrerticalAthesissubmittedinpanialsatisfactionOftheRequirementsforthede黟ee0fMasterofEn西neeringComputerScience锄dTechnologyintheGfaduateSchoolofHun柚UniversitySupeⅣisorProfessorLiRenfaNOv，2011]湖南

5、大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：嬲日期：驯年／f月乡日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保

6、存和汇编本学位论文。本学位论文属于1、保密口，在年解密后适用本授权书。2、不保密曰。(请在以上相应方框内打“√”)作者签名搠导师签备撅日期：勿f年／7月汐日日期：∥缈f年／f月∥日日期：Z匆2／年／／，月了p日／，、摘要社交SNS、新闻等领域的高速发展使得人们愈发的关注在最快的时间内获取实效数据，从中挖掘到有价值的信息，实时搜索因此成为目前信息检索的研究重点。通用搜索引擎拥有海量网页信息集合，更关注于信息的全面性，G00—e对于最新网页的索引更新平均耗费几个小时，这样的更新速度很难满足网民的实时搜索需求。垂直搜索引擎专业领域性强、信息化集中程度高，目前的实时搜索研究集中在垂直搜索领域，实

7、时垂直搜索针对特定领域和数据源，进行信息的快速检索和展示，为下一步的数据挖掘提供坚实的基础，具有重大的研究价值与经济价值。实时搜索技术难点在于增量索引构建算法及分布式环境下的容灾实现。本文首先研究了垂直搜索引擎和分布式系统基本工作原理。接着针对实时增量索引构建提出了内存+磁盘并行化实时索引构建索引的RSearch算法，RSearch算法采用全量索引写磁盘保证索引数据的一致性与完整性，实时增量索引直接写内存保证增量索引即时展现，内存磁盘、写满后复制至磁盘生成从磁盘索引，采用M：一cN的分布式模型切分大规模数据和满足高并发的访问需求，引入CommitL09同志机制，持久化实时索引请求，并设置

8、Checkpoint异常回滚时间点，保证实时索引的数据容灾。在RSearCll算法和Solr的基础上，构建了分布式实时垂直搜索RSolr系统，并针对RSolr搜索系统中存在的性能瓶颈如区间查询、排序、索引构建等性能进行了进一步优化。实验结果表明，相比较于Solr系统，Rsolr系统在索引构建、搜索性能、实时展现、数据容灾备份、分布式性能方面优于前者，验证了RSolr系统的实时性、高效性、稳定性和可用性，证明了RSeafch算法的可行性。关键词：信息检索；垂直搜索引擎；分布式系统；数据容灾：RSearch；RSolr；实时搜索Ill颂l+学位论文AbstractWiththepopular

9、ityanddeVelopmentofSNSgreg捌Ousne俩0rk，Onlinenews卸detc，peoplepaycloseattentiont0obtainingreal-tiIIledataiIIshorttime．Therefore，nowadaysreal-tiIIlesearchh舔becomeahottopicinthefieldofinfo册ationsearch．TtaditionalsearchengiIleshaVeamassiVe锄ountofin硒rmationofWebpageandpaymoreattentiont0comprehensiVeness

10、0finfo咖ation．Asaresult，itwouldtaketraditionalsearchen舀nesincludingGoogleseVeralhourstoupdatetheindexesfornewW曲sites，whichcanhardlymeetthereal—timerequirementsfmmcostumers．Recently'lheresearchofreal—timesearchmainlyfocu