基于yarn的分布式搜索引擎设计与实现

《基于yarn的分布式搜索引擎设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据中图分类号：UDC：学校代码：10055密级：公开彘蕊犬法硕士学位论文基于YARN的分布式搜索引擎设计与实现TheDesignandImplementofDistributedSearchEngineBasedonYARN论文作者封盘指导教师迕登申请学位王堂亟±培养单位让篡扭皇蕉剑王猩堂暄学科专业让篡扭筮住皇理迨研究方向筮住．工程答辩委员会主席贾壹福评阅人．史亡题扬巨蝰南开大学研究生院二O一四年五月万方数据南开大学学位论文使用授权书根据《南开大学关于研究生学位论文收藏和利用管理船法》，我校的博

2、士、硕士学位获得者均须向南开大学提交本人的学位论文纸质本及相应电子版。本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在《著作权法》规定范围内的学位论文使用权，即：(1)学位获得者必须按规定提交学位论文(包括纸质印刷本及电子版)，学校可以采用影印、缩印或其他复制手段保存研究生学位论文，并编入《南开大学博硕士学位论文全文数据库》；(2)为教学和科研目的，学校可以将公开的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检索、文摘以及论文全文浏览、下载等免费信息

3、服务；(3)根据教育部有关规定，南开大学向教育部指定单位提交公开的学位论文；(4)学位论文作者授权学校向中国科技信息研究所及其万方数据电子出版社和中国学术期刊(光盘)电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文数据库，通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。论文电子版提交至校图书馆网站：http：1／202．113．20．163：8001／paper／index．]sp。本人承诺：

4、本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答辩；提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。作者暨授权人签字：2014年月日南开大学研究生学位论文作者信息论文题目基于YARN的分彳i式搜索引擎设计与实现姓名封磊学号2120110349答辩日期2014年5月15日论文类别博士口学历硕士一硕士专业学位口高校教师口同等学力硕士口院／系／所计算机与控制工程学院专业计算机软件与理论联系电话l5

5、802268758Emailsuperfl@outlook．cx)m通信地址(邮编)：南开大学伯苓楼东区406备注：无是否批准为非公开论文否注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写(一式两份)签字后交校图书馆，非公开学位论文须附《南开大学研究生申请非公开学位论文审批表》。万方数据南开大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研究工作所取得的研究成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的

6、作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。学位论文作者签名：2014年月日非公开学位论文标注说明(本页表中填写内容须打印)根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本说明为空白。论文题目申请密级口限制(≤2年)口秘密(≤10年)口机密(≤20年)保密期限20年月日至20年月日审批表编号批准日期20年月日南开大学学位评定委员会办公

7、室盖章(有效)注：限制★2年(可少于2年)：秘密★10年(可少于10年)：机密★20年(可少于20年)万方数据摘要随着信息时代的到来，互联网上的信息爆发式的增长，我们日常使用的搜索引擎需要检索的内容信息量也随着迅速增加。整个世界的信息数据总量在2011年就已经超过了1．2ZB，并且根据国际数据公司IDC的预测，世界信息量2020年也将超过35ZB。在这种数据量下，传统的单机搜索引擎的索引的数据量已经不能满足人们的要求，搜索引擎的研究现在纷纷转向了分布式。在Google发表三篇关于分布式系统的论文即HD

8、FS、MapReduce和BigTable之后，Apache基于这三篇论文开发了开源的Hadoop系统。作为Hadoop框架的第二代产品，HadoopYARN解决了在Hadoop老版系统在线程模型、内存消耗和使用效率、系统的可扩展性、系统的可靠性和性能上的缺陷，在此基础上进一步提升了新版MapReduce编程框架的执行效率。本文在HadoopYARN框架的基础上结合Lucene全文索引工具包、Zookeeper分布式系统同步工具、Memcached分布式