基于MPI的分布式搜索引擎设计与实现

《基于MPI的分布式搜索引擎设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、专业学位硕士学位论文基于MPI的分布式搜索引擎设计与实现TheDesignandImplementationofDistributedSearchEngineBasedonMPI作者姓名：崔秀峰工程领域：过篁狃撞苤学号：31109075指导教师：一奎墓鲨完成日期：⋯2013年5月4日大连理工大学DalianUniversityofTechnology大连理工大学学位论文独创性声明舢删圳舢舢删舢舢删川Y2417296作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外，本论文不包含其他个人或集体已经发表

2、的研究成果，也不包含其他已申请学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。若有不实之处，本人愿意承担相关法律责任。学位论文题目：垄重型坚堡望聋避2鳌垡塑：塑作者签名：—型哞—一日I期：丝年』月L曰大连理工大学专业学位硕士学位论文摘要当今世界已经处在了信息时代，随着信息技术尤其是互联网技术的发展，全世界范围内的互联网信息总量一直处于爆炸式的增长。巨大的信息量，已经让人们无法从海量信息里找到自己当前最需要的内容。正是在这样的背景下，搜索引擎开始在人们的网络使用中占据了越来越重要的地位。教育网内的资源对于高校内部的用户

3、来说非常有价值，但是却是目前主流商用搜索引擎较为忽略的地方。本文的目标就是设计一个专门使用在教育网内的搜索引擎，先期服务目标是一个高校范围内的网页搜索，进而对系统进行扩展，以期提供对整个教育网的网页搜索服务。在对搜索引擎技术进行深入学习研究的基础上，本文给出了一种基于MPI消息传递机制的分布式搜索引擎的设计，并实现了其中的几大关键模块。整个搜索引擎系统全部采用分布式架构，具备良好的可扩展性。本文在最终成型的系统中，设计实现了基于MPI的分布式PageRank算法，并完成了对大量数据的计算；设计实现了基于MPI的分布式倒排索引算法，并在数据处理上使用了MapReduce计算

4、模型。关键词：MPI；分布式；PageRank；MapReduce；搜索引擎；基于MPl的分布式搜索引擎设计与实现TheDesignandImplementationofDistributedSearchEngineBasedonMPIAbstractNowadays，weareinaneraofinformation．TheexplosivegrowthofWebdatafollowingthedevelopmentoftheInternetandInformationTechnology．Becauseofthelargeamountofinformation，peo

5、plearemordifficulttofindwhattheywantfromInternet．Justundersuchabackground，thesearchengineismoreandmoreinportantinpeople’Slife．ThenetworkresourceonCERNET(ChinaEducationandResearchNetwork)isveryvaluablefortheuserincollege．However，thereisadefectthattheCERNETalwaysbeignoredbythemainstreamsear

6、chengine．Thegoalofthisarticleistodesignandimplementationofanewdistributedsearchengine，andprovidewebpageretrievalserviceforteachersandstudentsinuniversity．Basingonthedeeplyresearchingofthesearchenginetechnology，thisarticledesignadistributedsearchenginebaseonMPI(MessagePassingInterface)andi

7、mplementationsomeimportantmodules．Thedistributedsearchenginesystemusesadistributedarchitecture，andhasthegoodextendibilityandthemodifiability．Intheimplementationofthesystem，thisarticledesignimplementsanalgorithmcomputingthePageRankindistributedsystem．Anddesignimpleme