基于redis的分布式搜索引擎研究

《基于redis的分布式搜索引擎研究》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。基于Redis的分布式搜索引擎研究　　摘要：　　针对互联网网内信息搜索效率低下问题，设计了以Redis数据库以及Mapreduce思想为核心的分布式搜索引擎框架。为了应对互联网信息时效性强、更新快、难以被准确检索的特点，基于该框架设计了分布式爬虫、分布式索引建立、分布式链接分析算法。该框架明显提高了信息处理的效率，为分布式搜索引擎的搭建

2、提供有效模板。经过测试，与以基于其它主流框架搭建分布式搜索引擎相比，基于Redis的分布式搜索引擎在爬虫爬取、索引生成、链接分析性能方面均有提升。　　关键词：　　分布式搜索引擎；Redis数据库；Mapreduce思想　　DOIDOI：/　　中图分类号：TP393　　文献标识码：A文章编号文章编号：0XX4　　英文摘要Abstract：TotackletheinefficiencyofsearchinginformationthroughtheInternet，adistributedsearchengineb

3、asedontheRedisDataBaseandmapreducepatternwasdevised.TobetteradapttothesituationoftheInternetatpresent，whichischaracterizedbytimesensitive，fastupdateand为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源

4、全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。searchingtimeconsumingfeatures，threetechniquesincludingdistributedcrawler，distributedindexconstructionanddistributedlinkanalysisalgorithmisappliedwithinourdistributedsearchengine.Thef

5、rameworkgreatlyelevatetheefficiencyoftheinformationprocessingandprovideaneffectivetemplatefortheconstructionofthedistributedsearchengine.Aftertesting，comparedwiththesearchenginesbasedontheotherprevalentframeworks，theperformancesofthreeaspectsincludingcrawlin

6、g，indexgenerationandlinkanalysisofthedistributedsearchenginebasedontheRedisDataBaseallhaveaobviouselevation.　　英文关键词KeyWords：distributedsearchengine；redisdatabase；Mapreducepattern　　0引言　　XX年2月发布的《第35次中国互联网络发展状况统计报告》显示，截至XX年12月，中国网站总数已达335万个，年增长%；域名总数增至2为了充分发挥“

7、教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。060万个，年��长%；网页数量为1899亿个，年��长%[1]；网页长达到。如此巨大的互联网数据，使网络爬虫对页面采集性能与效率的要求也越来越高，因此，对网页采集与

8、链接关系的处理必须由多机并行完成。目前，国内外大型互联网公司与相关研究机构在此问题上已有一些较为成熟的解决方案，但是出于商业机密等因素考虑，这些方案一般只能为用户提供一种不可定制的搜索服务，且并未公开。　　本文通过研究搜索引擎基本体系机构及分布式的思路与技术，介绍了基于Redis的分布式搜索引擎框架，主要贡献有：①总结了基于Mapreduce原理的分布式搜索引擎工作原理；②设计了基于R