分布式搜索引擎核心技术的研究与实现.pdf

《分布式搜索引擎核心技术的研究与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、UniversityofScienceandTe-chnologyLiCJoningTHESISFORMASTERtSDEGREEtt:~:ttti:aM&.--------m~f!Uili:.!dt~liJijIIJfkff-----~--~~tit!!:-ttwmtt~--------~msm=2o1s~sf1sa分类号TP391密级公开UDC单位代码10146学号132085211378硕士学位论文分布式搜索引擎核心技术的研究与实现研究生姓名：白鹏超指导教师：战学刚副教授工作单位：辽宁科技大学指导教师：工作单位：论文提交日期：2015年5月

2、10日答辩日期：2015年6月6日学位授予日期：授予单位：辽宁科技大学论文评阅人：迟呈英教授工作单位：辽宁科技大学论文评阅人工作单位：答辩委员会主席：高凯教授工作单位：鞍钢教育培训中心ResearchandImplementationofCoreTechnologyofDistributedSearchEngineAthesisSubmittedtoUniversityofScienceandTechnologyLiaoningbyBaiPengchao(MajorinComputerTechnology)Supervisor:Prof.Zhan

3、XuegangMay10，2015*A%~~~~~~~~R~A~~~m~~*~~W~l~&~m~mJEJJX.:W:"~ft!YT9;n,~TJU:Pt#J)rj)JU~-Ct;F¥i-to3&i~Hf1fili1:J9~,tir::tr:F/G'ffi~:!tf1EA~f::i:/t:?JliJfJ1:JJY;~,ill~~g*J;J~{~iLct-';t:~tt:A'TilJ~Jt-trY:fJ'~flt1J~~&~~~W~mtt~U#.~&-~~~~~~M*~~M-~ffM~~~B~~~~~7~~~*~**

4、~7W~o*A~~7MIT~Mtt*~~*~OO~~m~~*~~~~,~=~~~~~m~~~~~~~~.ftw~~•§oo~moo:~~ey~0~~~~~$~$~~#.ey~*ffl~$,•~~X~~~~m~~~~o中文摘要中文摘要伴随着大数据时代的降临，人们在日常的生产、生活和工作等多个方面都积累了海量的数据，并且每天还在以不可逆的方式在迅猛增长，由此带来了严重的信息过载问题。传统的集中式搜索引擎受存储条件和计算速度的制约，已经无法适应海量数据的快速查询，而分布式搜索引擎以大量普通的PC机为依托，采用分而治之的思想，不但可以为大数据的存储提供解

5、决方案，并且能够为人们提供快速准确的查询结果。分布式搜索引擎涉及了许多复杂的问题和难点，为了深入研究和掌握其背后所隐藏的奥秘，本文构建了一套面向地图查询的分布式搜索引擎，以此来展开对分布式搜索引擎核心技术的研究。首先，以地图数据为基础设计合理的分布式索引结构，实现索引的动态更新，并辅以巧妙的索引压缩机制；其次，基于地理位置为地图数据的存储提供合理的解决方案，同时分布式搜索引擎各独立搜索单元采用有效的检索模型来保证各自的准确性，在此基础上配合主控服务器的查询分发策略和数据融合策略为人们提供理想的查询结果；最后，根据人们提交的查询分析其潜在的查询意图

6、，对查询意图进行正确分类，从而将人们真正需要的信息放在最前面，以此来改善分布式搜索引擎的排名。从实验的结果来看，合理的分布式索引是搜索引擎快速查询的基础，而大量机器协同工作的分布式搜索可以有效地缩短查询的时间，并且优秀的检索模型能够按照相关性的大小返回有序的查询结果，查询意图分析则可以提供最佳的用户体验。关键词：分布式索引；分布式搜索；查询意图iiABSTRACTABSTRACTWiththecomingoftheeraofbigdata,peoplehaveaccumulatedthemassiveamountsofdatainmanyaspe

7、ctsofdailyproduction,lifeandwork.Atthesametime,theamountofdataisstillgrowingrapidlyinirreversiblewayeveryday.Thusthisposesaseriousproblemofinformationoverload.Traditionalcentralizedsearchengine,whichislimitedbythestorageconditionsandcomputingspeed,hasbeenunabletoadapttothefas

8、tqueryofhugeamountsofdata.Nevertheless,Distributedsearchenginebyadop