基于mapreduce的分布式搜索模型研究

《基于mapreduce的分布式搜索模型研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、厦门大学学位论文原创性声明本人呈交的学位论文是本人在导师指导下，独立完成的研究成果。本人在论文写作中参考其他个人或集体已经发表的研究成果，均在文中以适当方式明确标明，并符合法律规范和《厦门大学研究生学术活动规范(试行)》。另外，该学位论文为()课题(组)的研究成果，获得()课题(组)经费或实验室的资助，在()实验室完成。(请在以上括号内填写课题或课题组负责人或实验室名称，未有此项声明内容的，可以不作特别声明。)声明人(签名)：胡膨、易加I眸多月如日厦门大学学位论文著作权使用声明l嘲鼎本人同意厦门大学根据《中华人民共和国学位条例暂行实施办法》等规定保留和使用此学位论文，并向主管部门或其指

2、定机构送交学位论文(包括纸质版和电子版)，允许学位论文进入厦门大学图书馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。本学位论文属于：()1．经厦门大学保密委员会审查核定的保密学位论文，于年月日解密，解密后适用上述授权。(√)2。不保密，适用上述授权。(请在以上相应括号内打“√”或填上相应内容。保密学位论文应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认为公开学位论文，均适用上述授权。)

3、声明人(签名)：粥彬岛认luJ年箩月枷日摘要随着互联网的发展，数据呈现几何式的增长，如何能够从巨大的数据中快速寻找出对自己有用的数据，将会是大家面临的一个问题。搜索技术的出现方便了人们快速而且有效的获取信息。在搜索技术中，最突出的搜索工具就是搜索引擎，当然针对于一些特定数据的搜索工具，比如说在交叉学科领域的一些数据的检索工具也给人们带来了巨大的便利之处。本文正是基于这两个方面开展研究工作，并且从研究和设计的角度出发，对于分布式搜索领域的相关理论和技术进行了详细的讨论和分析，详细的介绍了Map／Reduce的分布式架构技术和搜索领域的Lucene技术，并以此为基础，开展了两项工作的设计开

4、发。论文中主要实现的工作为：第一，实现了学术论文搜索的单机搜索模型和分布式搜索模型的开发，并对于其中遇到的一些问题进行了解决或优化；第二，对于学术论文搜索中的文本分类和索引存储进行了方法上的改进，使得效率有了显著的提高；第三，实现了基因／蛋白质序列搜索的单机搜索模型和分布式搜索模型的开发，对于分布式中的Combiner优化和数据倾斜的问题，给出了合理的解决方法；第四，通过对于单机搜索模式和分布式搜索模式的实验数据对比，突出展示了分布式模式在解决大数据问题上的优越性。本文通过设计与开发搜索工具并进行分布式扩展，使我们了解到分布式搜索模型在大数据领域的先进性和优越性，并且对于其中遇到的问题

5、都有妥善的处理和详细的解答，所以，本文的内容是具有极大的研究意义的。关键词：分布式搜索；Map／Reduce；优化AbstractWiththedevelopmentoftheIntemet，datashowgeometricgrowth．Soitwillbeagreatproblemtofindouttheusefulinformationfromhugedatasetquickly．Emergenceofsearchtechnologiesmakesitconvenientforpeopletogetinformationquicklyandeffectively．Amongsea

6、rchtechnologies，themostprominenttoolisthesearchengine．Ofcourse，thoseforspecificdata，suchasdataretrievaltoolsininterdisciplinaryfields，Canb矗ngUSgreatconvenienceaswell．Thisarticlecarriesoutresearchworkbasingonthetwoaspectsabove．Proceedingfromtheperspectiveofresearchanddesign，wemakedetaileddiscussi

7、onandanalysisoftheoriesandtechnologiesinthefieldofdistributedsearching，anddescribeindetailtheMap／ReducedistributedarchitecturetechnologyandthetechnologyofLucene．ThenwebeginOBI"workaccordingtotheabovementionedtwosections．Them