基于mpi的多层容错高性能云计算平台关键技术研究

《基于mpi的多层容错高性能云计算平台关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号——UDC武旌学1严密级位论文PlatformBaseonⅣ噼I研究生姓名翅盔担指导教师副指导教师申请学位级别姓名鄞廛±职称数拯学位姓名鄞塑盛职称进痖学位——硕士论文提交日期至Q!三笙Q垒目论文答辩日期2Q!三笙Q三日答辩委员会主席茎蠓2013年5月巡砸代妙荔

2、枞署学大2独创性声明本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学和其它教育机构的学位和证书而使用过

3、的材料。与我一同工作的同志对本研究所作的任何贡献均已在论文中作了明确的说明并表示了感谢。签名：业瞒丝垫关于论文使用授权的说明本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权保留交向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权武汉理212大学可以将本学位论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息服务。(保密的论文在解密后应

4、遵守此规定)研究生c㈣：枷毒引捌：却哗日期魄姆l武汉理工大学硕士学位论文摘要随着全球信息化浪潮的推进和计算机应用技术的不断迭代更新，各行业需要处理的信息量越来越大，尤其实在航空航天、海洋开发、天气预报等诸多领域，数据规模已经达到TB甚至PB级，而如何存储并处理这种规模的数据显得至关重要，为了解决这一问题，引入云计算平台这一概念。一方面，对于云计算平台而言有两个特点，一个是能分布式存储大数据，另一个特点是将视任务执行失败为正常情况；但另外一方面，许多云平台不适用于低延迟服务，并且在面对计算密集型任务时候显得效

5、率不高，而MPI擅长计算密集型，并且通信迅速，消息传递延迟少，因而用MPI实现一个云平台则显得十分有意义。在本研究当中将主要研究如何构建并实现能够支持大数据存储存并拥有多层容错功能的MPI云平台。针对上述问题，本文提出并实现出一个基于MPI的云平台，为了让此平台能够支持大数据存储，因而实现了一个由MySQL构建的分布式集群，并且多个MySQL节点存储不一样的数据，在此之上增加一个数据库中间件层，以便能将这些数据库节点联立在一起。而用户在使用的时候，并不需要考虑此存储架构，使用起来就和单个MySQL的效果是类

6、似的。另外一方面，考虑到MPI自身没有提供响应的容错机制，因而本研究者设计出3层容错机制，分别是：任务失败重调度、任务的CheckPoint／Restart以及进程迁徙，并且将此容错机制独立分离出接口，以便平台开发者可以依据自身需求来定制其具体需求，也便于对此功能进行二次开发，而对于用户而言，则可以依据其实际需求来设定容错级别。经过测试和评估，证明基于MySQL的分布式集群之上运行的数据库中间件能够处理用户的SQL请求，实现数据的查找以及基本的增删改功能，并且本平台可以很好地应对节点服务失效问题并能最终给用

7、户反馈正确的结果。原型系统的可行性、可靠性、健壮性、高效性均达到设计预期。关键词：MPI；容错；云计算；Checkpoint／Restart；分布式MySQL集群武汉理工大学硕士学位论文AbstractWiththeimpactofglobalwareofinformationandtheconstantexpansionofcomputerapplications，allwalksofdeal谢t}lgreateramountofinformation，particularlyintheaerospace

8、，marinedevelopment，weatherforecastingandotherfields．ThescaleofdatahasreachedTBclassoreventPBclass，itisvitaltochooseaeffectivewaytostorethisscaleofdata，theconceptionofcloudcomputingplatformarebroughtin．Ontheonehandtherearetwochattersincloudcomputingplatform

9、，itCanstorebigdatadistributivelyanditsupportfault-tolerance，ontheotherhand，manycloudplatformarenotappliedtolow-latencytask，inmanycases，computeboundtasks(CPUbound)performpoorly．Inordertosolvetheseproblem，using