基于IBM Symphony的spark集群上主节点高可用性的设计与实现

《基于IBM Symphony的spark集群上主节点高可用性的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文＿■參Ｉ基于ＩＢＭＳｙｍｐｈｏｎｙ的ｓｐａｒｋ集群上主节点高可用性的设计与实现作者姓名董炫辰指导教师姓名、职称刘惠副教授企业导师姓名、职称刘跃尚工申请学位类别工程硕士学校代码１０７０１学号１４１０１２２５６８分类号ＴＰ３１１．５密级公开西安电子科技大学硕士学位论文基于ＩＢＭＳｙｍｐｈｏｎｙ的ｓｐａｒｋ集群上主节点高可用性的设计与实现作者姓名：董炫辰领域：软件工程学位类别：工程硕士学校导师姓名、职称：刘惠副教授企业导师姓名、职称：刘跃高工学院：软件学院提交日期：２

2、０１７年４月ＤｅｓｉｎａｎｄＩｍｌｅｍｅｎｔａｔｉｏｎｏｆＭａｓｔｅｒＨＡｉｎｇｐｔｈｅｒｏｅｃｔｏｆＳｐａｒｋＯｎＥｇｏｐｊＡｔｈｅｓｉｓｓｕｂｍｉｔｔｅｄｔｏＸＩＤＩＡＮＵＮＩＶＥＲＳＩＴＹｉｎａｒｔｉａｌｆｕｌｆｉｌｌｍｅｎｔｏｆｔｈｅｒｅｑｕｉｒｅｍｅｎｔｓｐｆｏｒｔｈｅｄｅｇｒｅｅｏｆＭａｓｔｅｒｉｎＳｏｆｔｗａｒｅＥｎｇｉｎｅｅｒｉｎｇＢｙＤｏｎＸｕａｎＣｈｅｎｇＳｕｅｒｖｉｓｏｒ：ＬｉｕＨｕｉＡｓｓｏｃｉａｔｅＰｒｏｆｅｓｓｏｒｐＬｉｕＹｕｅＳｅｎｉｏｒＥｎｉｎｅｅｒ

3、ｇＡｒｉｌ２０１７ｐ西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含一为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我同工作的同事对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。一学位论文若有不实之处。，本人承担切法律责任本人签名：夸Ｕ底曰期：Ｉ西安电子科技大学关于论文使用授权的说明

4、本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权属于西安电子科技大学。学校有权保留送交论文的复印件，允许査阅、借阅论文；学校可以公布论文的全部或部分内容，允许采用影印、缩印或其它复制手段保存论文。同时本人保证，结合学位论文研究成果完成的论文。、发明专利等成果，署名单位为西安电子科技大学保密的学位论文在年解密后适用本授权书。本人签名：遂Ｖｉ和导师签名：＾－－ｏＨ－ｉ＾（Ｕ日期：日期：ｙ摘要摘要，互随着大数据时代的来临，信息成爆炸式的增长联网以及移动设备每天都会产生大量数据。同时，用

5、户提出了新的需求，如何在可接受的时间范围内从海量数据中挖掘出用户想要的、有价值的信息。后来，ｈａｄｏｏｐ、ｓｐａｒｋ等大数据计算框架出现在了人们的视野中，其中ａｒｋ成为，基，ｓｐ大数据分析的主流工具本满足人们对性能的要求ａｒｋ社区中，ｓａｒｋ建立起对大数据领域的影。很多公司加入到开源ｓｐ希望借由ｐ“一响。Ｉｂｍ就是众多公司中的个，并宣传道ｓｐａｒｋ是ｉｂｍ未来十年最重要的事，将”安排３５００名开发人员参与到ｓｐａｒｋ相关的项目研发中。Ｓｐａｒｋｏｎｅｇｏ团队就是其中一的支队伍，我们对开源ｓｐａｒｋ进行了深度定制，将ｓｐａｒｋ集成在了ｉｂｍ自己的资源ｅｏ上

6、ｓａｒｋ。，ｓａｒｋｏｎ调度框架ｇ，使得ｐ在资源调度方面有了更好的性能和功能同时ｐｅｏ，ｇ团队开发了更多的功能，比如基于用户层级的资源调度等等为用户提供了更好的服务。基于ｅｇｏ的ｓｐａｒｋｍａｓｔｅｒ节点高可用特性是ｓｐａｒｋｏｎｅｇｏ项目的子模块，总体目ｔｅｒ节点出现故障宕机之后ａｓｔｅｒ标是实现ｍａｓｔｅｒ节点的高度可靠，当ｍａｓ，ｍ进程能，。Ｓａｒｋｏｎｅｏ项够从故障中恢复过来，恢复到宕机前的状态继续为集群提供服务ｐｇ目本身是开源ｓａｒｋ版本的定制版，有很多功能是从开源ｓｐａｒｋ中直接集成来的。而ｐｍａｓｔｅｒ节点高可用特性实际在开源ｓｐａｒ

7、ｋ中己经实现了，因此，我们主要通过参考开源ｓａｒｋ中ｍａｓｔｅｒ节点高可用特性的实现，并结合ｓｐａｒｋｏｎｅｇｏ本身和开源的不同之ｐｍａｓｅｒ，处，如不同的ｔ端类结构、不同的任务调度和资源分配流程来实现我们自己的基于ｅｇｏ的ｓｐａｒｋｍａｓｔｅｒ节点高可用特性。ｓａｍａｓｔｅｒ节点工作流程是ａｔｅ，．基于ｅｏ的ｒｋ，ｍｓｒ节点岩会ｇｐ高可用特性的机后根据用户配置的故障恢复策略，采取不同的启动方式。若用户配