基于elasticsearch的分布式智能搜索引擎的研究与实现

《基于elasticsearch的分布式智能搜索引擎的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Elasticsearch的分布式智能搜索引擎的研究与实现重庆大学硕士学位论文(学术学位)学生姓名：曾亚飞指导教师：尹云飞副教授专业：计算机软件与理论学科门类：工学重庆大学计算机学院二O一六年四月TheResearchAndImplementationofDistributedIntelligentSearchEngineBasedonElasticsearchAThesisSubmittedtoChongqingUniversityinPartialFulfillmentoftheRequirementfortheMaster’sDegreeofEngineeringByZengYa

2、feiSupervisedbyProf.YinYunfeiSpecialty：ComputerSoftwareandTheoryCollegeofComputerScienceofChongqingUniversity,Chongqing,ChinaApril,2016重庆大学硕士学位论文中文摘要摘要随着各个行业信息化的快速发展，当今各个垂直领域的数据越来越多，而其中有很多数据都是无用的，不需要特殊处理。如何快速、高效从垂直领域内的海量数据中检索、智能挖掘出有用的信息成为现在智能搜索引擎发展的一大难题。随着搜索引擎技术的发展，出现了各种各样的搜索引擎技术，但绝大部分搜索引擎技术针对特殊领域

3、中的特殊术语和特殊表达方式不能进行有效的检索和智能推荐，所以传统的搜索引擎技术不能满足当前行业的需求，这就促进了分布式智能搜索引擎的发展。分布式智能搜索引擎不仅仅只是根据各个垂直领域的不同进行自适应处理，而且还能在提高检索精度和检索效率的基础上，针对已有的海量数据检索、挖掘出用户潜在关注的一些信息，让搜索引擎能够提供更加友好、智能的为用户提供交互。本文在深入研究基于Elasticsearch分布式搜索技术和垂直搜索技术的基础上，结合垂直领域个性化词典构建技术和智能推荐技术的优势，设计并实现了一种基于Elasticsearch的分布式智能搜索引擎。本文提出了一种基于左右递归的新词发现算法来实

4、现了垂直领域个性化词典的构建，当数据进入搜索引擎时就会自动的发现新词并加入到对应的垂直领域个性化词典中。同时，本文将该模块完美的集成到了Elasticsearch分布式搜索集群中，让搜索引擎能根据垂直领域的不同自动的加载和更新对应的个性化词典，让搜索引擎更加的高效和准确。在此之上，本文还设计和实现了智能推荐模块并集成到了智能分布式搜索引擎之中，提出了一种基于Item的协同过滤算法的改进方案，能够在一定程度上提高算法的推荐质量，让搜索引擎变得更加的完美、智能。最后，本文还介绍了智能分布式搜索引擎的搭建过程和相关配置优化，并通过多个方面的实验验证了本系统的有效性、智能性。关键词：智能推荐，分布

5、式搜索引擎，垂直搜索，Elasticsearch，新词发现I重庆大学硕士学位论文英文摘要ABSTRACTNowadaysmoreandmoredataintheverticalareasemergeswiththerapiddevelopmentofinformationtechnologyindustry,butalotofthedataisuselessandweneedn’tpayattentiontoit.Soitisaquestionforustoeffectivelydistinguishtheusefulinformationfromthehugeamountsofdata.

6、Withthedevelopmentofsearchengines,thereisawidevarietyofsearchenginetechnology,butmostofthesearchenginescan’tworksoeffectivelytosearchfororrecommendthespecialformsorthespecialwayofexpressioninsomelimitedareas.Sincethetraditionalsearchenginescannotmeetthecurrentneeds,thereisanurgentneedforthedistrib

7、utedintelligentsearchengine.Distributedintelligentsearchengineisnotjustbasedontheadaptiveprocessingoftheareasindifferentvertical,butcanalsodigouttheusefulinformationthatthecustomercareaboutfromahugeamountofdata,w