基于mpi的云计算平台下计算依赖问题关键技术研究

《基于mpi的云计算平台下计算依赖问题关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、（申请工学硕士学位论文）基于（申请工学硕士学位论文）MPI的云计算基于MPI的云计算平台下平台下计算依赖问题关键技术研究计算依赖问题关键技培养单位：计算机科学与技术学院术研学科专业：计算机应用技术究研究生：张玉超张指导老师：郭庆平教授玉超武2014年5月汉理工大学万方数据分类号密级UDC学校代码10497学位论文题目基于MPI的云计算平台下计算依赖问题关键技术研究英文ResearchontheKeyTechnologyofComputational题目DependencyProblemunderMPI-basedCloudPlatform研究生姓名张玉超姓名郭庆平

2、职称教授学位指导教师单位名称计算机科学与技术学院邮编姓名郭羽成职称讲师学位副指导教师单位名称计算机科学与技术学院邮编申请学位级别硕士学科专业名称计算机应用技术论文提交日期2014年4月论文答辩日期2014年5月学位授予单位武汉理工大学学位授予日期答辩委员会主席评阅人2014年5月万方数据独创性声明本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献

3、均已在论文中作了明确的说明并表示了谢意。签名：日期：学位论文使用授权书本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人承诺所提交的学位论文（含电子学位论文）为答辩后经修改的最终定稿学位论文，并授权武汉理工大学可以将本学位论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息服务。（保密的论文在解密后应遵守此规定）研究生（签名）：导师（签名）：

4、日期万方数据武汉理工大学硕士学位论文摘要对于高性能计算而言，由普通商用计算机组成的集群正在成为越来越流行的平台。为了充分利用集群的计算和存储能力同时简化分布式并行应用程序的设计，科研机构及科技公司研发出了一系列分布式并行计算框架以及云计算平台。但通过分析它们的编程模型，发现这些框架及云计算平台并不适用于存在计算依赖的作业或者说是不能有效地解决这类问题。本文提出了基于有向图的存在计算依赖的作业的编程模型，其核心就是用一个有向图来表达存在计算依赖的作业分解后的各个任务以及任务所执行的计算间的依赖关系。根据编程模型的结构来分析编程模型所对应并行计算框架的核心过程，研究了

5、任务所执行计算间的依赖关系类型、依赖关系表示方法及任务调度机制。在上述基础之上，基于MPICH（消息传递接口MPI的一种具体实现）设计并实现编程模型相应的并行计算框架。MPI(MessagePassingInterface)本身不提供容错机制，为了增强系统的可靠性及高可用性，本文在分析传统的基于检查点的卷回恢复协议的优势与不足之后，设计出改进的基于通信引发检查点的卷回恢复协议：采用通信引发的检查点设置协议可以确保作业从检查点恢复时的正确性；进程在设置检查点时采用户导向的检查点设置机制可以有效地减少无错运行时开销；作业在出错恢复时采用三级容错恢复协议，可以将出错恢复

6、限制在与失败进程有直接依赖关系的进程范围内而不影响其他进程的正常执行，这样就加快了作业的出错恢复过程。为了支持存在计算依赖的作业的三级容错恢复协议，本文研究并设计了不共享通信域的Worker间通信机制。最终，程序开发人员只需按照框架的规范编写并提交各计算顶点（任务）对应的顺序执行的程序和计算顶点依赖关系图，系统自动地对存在计算依赖的作业进行分布式并行处理包括：负载平衡、任务调度、计算结果的返回、对用户透明的容错处理等。本文将适用于存在计算依赖的作业的并行计算框架的原型系统部署在实验室之前研发的基于MPI的多层容错高性能云计算平台上，使之支持存在计算依赖的作业。实验

7、测试结果表明，原型系统可以正确有效地解决存在计算依赖的作业。关键词：MPI；计算依赖；容错；云计算平台I万方数据武汉理工大学硕士学位论文AbstractClustersofcommoditycomputersarebecominganincreasinglypopularplatformforhighperformancecomputing.Inordertotakefulladvantageofthecomputingandstoragecapacityoftheclusterandsimplifythedesignandimplementationofdist

8、ribut