云计算下mapreduce多组容错机制架构的分析与研究_张治斌_李燕歌new

《云计算下mapreduce多组容错机制架构的分析与研究_张治斌_李燕歌new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、３１卷第１期微电子学与计算机Ｖｏｌ．３１Ｎｏ．１２０１４年１月ＭＩＣＲＯＥＬＥＣＴＲＯＮＩＣＳ＆ＣＯＭＰＵＴＥＲＪａｎｕａｒｙ２０１４云计算下ＭａｐＲｅｄｕｃｅ多组容错机制架构的分析与研究张治斌，李燕歌（河南理工大学计算机科学与技术学院，河南焦作４５４０００）摘要：提出了ＭａｐＲｅｄｕｃｅ多组容错机制，在传统的ＨａｄｏｏｐＭａｐＲｅｄｕｃｅ架构上进行改进，即在同机柜中的Ｔａｓｋ－Ｔｒａｃｋｅｒ节点之间增加了多组关系，这样可以缩短发现失效节点的时间，同时减轻ＪｏｂＴｒａｃｋｅｒ节点的负荷，减低了带宽使用率，减少网络拥塞．通过实验证明，ＭａｐＲｅｄｕｃｅ多组容错机制提高了ＭａｐＲｅｄｕｃｅ的工作

2、效率．关键词：云计算；ＭａｐＲｅｄｕｃｅ并行编程模型；多组容错机制中图分类号：ＴＰ３０２．８文献标识码：Ａ文章编号：１０００－７１８０（２０１４）０１－００５２－０４ＡｎａｌｙｓｉｓａｎｄＳｔｕｄｙｏｎｕｎｄｅｒＣｌｏｕｄＣｏｍｐｕｔｉｎｇＭｕｌｔｉｐｌｅＳｅｔｓｏｆＦａｕｌｔＴｏｌｅｒａｎｃｅＳｔｒａｔｅｇｙＡｒｃｈｉｔｅｃｔｕｒｅｏｆＭａｐＲｅｄｕｃｅＺＨＡＮＧＺｈｉ－ｂｉｎ，ＬＩＹａｎ－ｇｅ（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＨｅｎａｎＰｏｌｙｔｅｃｈｎｉｃＵｎｉｖｅｒｓｉｔｙ，Ｊｉａｏｚｕｏ４５４０００，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｔｈｉｓ

3、ｐａｐｅｒｐｒｅｓｅｎｔｓａＭｕｌｔｉｐｌｅＳｅｔｓｏｆＦａｕｌｔＴｏｌｅｒａｎｃｅＳｔｒａｔｅｇｙｏｆＭａｐＲｅｄｕｃｅ，ｉｍｐｒｏｖｅＨａｄｏｏｐＭａｐＲｅｄｕｃｅｆｒａｍｅｗｏｒｋ，ｂｅｔｗｅｅｎＴａｓｋＴｒａｃｋｅｒｎｏｄｅｉｎｔｈｅｓａｍｅｃａｂｉｎｅｔｇｒｏｕｐｒｅｌａｔｉｏｎｓｈｉｐａｄｄｅｄｍｕｌｔｉｐｌｅｓｅｔｓｒｅｌａｔｉｏｎｓ，ｉｔｃａｎｓｈｏｒｔｔｈｅｔｉｍｅｏｆｆｏｕｎｄｉｎｇｔｈｅｆａｉｌｅｄｎｏｄｅ，ａｔｔｈｅｓａｍｅｔｉｍｅ，ｒｅｄｕｃｅｔｈｅｌｏａｄｏｆＪｏｂＴｒａｃｋｅｒｎｏｄｅ，ｂａｎｄｗｉｄｔｈｕｔｉｌｉｚａｔｉｏｎａｎｄｎｅｔｗｏｒｋｃｏｎｇｅｓｔｉ

4、ｏｎ．ＴｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔＭｕｌｔｉｐｌｅＳｅｔｓｏｆＦａｕｌｔＴｏｌｅｒａｎｃｅＳｔｒａｔｅｇｙｏｆＭａｐＲｅｄｕｃｅｉｍｐｒｏｖｅｄｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆＭａｐＲｅｄｕｃｅ．Ｋｅｙｗｏｒｄｓ：ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ；ＭａｐＲｅｄｕｃｅｐａｒａｌｌｅｌｐｒｏｇｒａｍｍｉｎｇｍｏｄｅｌ；ｍｕｌｔｉｐｌｅｓｅｔｓｏｆｆａｕｌｔｔｏｌｅｒａｎｃｅｓｔｒａｔｅｇｙ容错问题的解决首先是ＪｏｂＴｒａｃｋｅｒ节点需要１引言ＴａｓｋＴｒａｃｋｅｒ节点周期性发送的心跳消息获得节点随着信息化程度的日益剧增，信息量成指数级的工作状态，其次对出现故障的节点任务

5、进行再执增长，各大商家需要从ＰＢ级甚至是ＥＢ级的海量数行或者备份启动，这一切的前提都是发现失效节点，据中挖掘出有效信息，伴随着这些问题云计算产生如何快速准确地发现失效节点是容错技术中需要解了，但是云计算只是一种思维模式，要想真正地解决决的问题．这些问题就必须处理好支持云计算后台的云计算数在文献［４］中提出的主动容错技术中虽然很好［１］据中心．Ｇｏｏｇｌｅ公司提出来ＭａｐＲｅｄｕｃｅ编程模地预知了节点失效但是复杂的预知策略加重了Ｍａ－型简单易用、并行化程度高、系统易扩张等特点吸引ｐＲｅｄｕｃｅ的运行负担；在文献［５］中提出的自适应超［２］了很多使用者，但是在ＭａｐＲｅｄｕｃｅ并行编程模型时时间

6、算法能缩短发现节点失效的时间，但是由于集群系统中使用普通ＰＣ代替价格昂贵的服务器，估算作业运算时间不准确造成超期时间设置的不精这样从很大程度上减低了运行成本，然而人为操作确．本文提出多组容错机制相比于其他设计在性能错误或硬件故障等造成的机器失效现象时常发生，方面的优势有：第一，利用多组关系更快地发现失效并且随着集群规模的扩大，这些问题会日益增加，所节点，因为ＪｏｂＴｒａｃｋｅｒ节点和ＴａｓｋＴｒａｃｋｅｒ节点之［３］以ＭａｐＲｅｄｕｃｅ的容错技术成为研究的热点．传统间心跳消息的传输时间肯定比同机柜中Ｔａｓｋ－收稿日期：２０１３－０２－１８；修回日期：２０１３－０４－２７基金项目：河南省软件科

7、学研究（１０２４００４５００６４）第１期张治斌，等：云计算下ＭａｐＲｅｄｕｃｅ多组容错机制架构的分析与研究５３Ｔｒａｃｋｅｒ节点之间传输时间长，无论是长作业还是只有ＴａｓｋＴｒａｃｋｅｒ节点空闲时才主动执行多组短作业都能提前发现失效节点；第二，减少网络拥监测的任务，不会影响工作节点计算的主要任务，既塞，因为ＪｏｂＴｒａｃｋｅｒ和ＴａｓｋＴｒａｃｋｅｒ节点的通信必保证了数据计算的独立性，又把节点空闲的时间利须通