bc-bsp系统中容错与动态负载均衡机制研究与实现

《bc-bsp系统中容错与动态负载均衡机制研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文BC．BSP系统中容错与动态负载均衡机制研究与实现作者姓名：指导教师：申请学位级别：学科专业名称：论文提交日期：学位授予日期：评阅人：杨宝星赵志滨副教授东北大学信息科学与工程学院硕士学科类别：工学计算机应用技术2014年6月论文答辩日期：2014年6月2014年7月答辩委员会主席：于戈鲍玉斌王溪波东北大学2014年6月万方数据AThesisinComputerApplicationTechnologyIMIIJIHMHHIY2990223ResearchandImpl

2、ementationofFaultToleranceandDynamicLoadBalancingMechanisminBC-·BSPSystemByYangBaoxingSupervisor：AssociateProfessorZhaoZhibinNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料

3、。与本人一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名：杨褪日期：矽／参．∥．7砂学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年√一年半口学位论文作者签名：杨避签字日期：即／4．-．多．≯≥两年口新繇

4、越号签字日期：妒／‘．47弓万方数据东北大学硕士学位论文摘要BC．BSP系统中容错与动态负载均衡机制研究与实现摘要图是计算机科学中最常用的一类抽象数据结构，特别适合表达现实世界中各种复杂的关系。在图数据挖掘领域中，有很多算法需要多次迭代才能得到最终结果。针对这一需求，基于BSP模型的大规模图处理系统应运而生。现有的基于BSP模型的大数据处理平台中，Pregel、Giraph和Hama等系统虽然都能很好地处理大规模图数据，然而各平台在集群环境下都可能由于不稳定因素导致系统出现故障，而且它们的容错机制也

5、不尽相同，很难得出高效统一的方案。另外，这些系统由于采用Master／Slave架构，将不可避免地会出现Master单点故障，而这些系统很少能够提出有效的解决方案。而且，这些系统还可能出现由于计算节点硬件问题或节点负载不均衡而导致的作业的“水桶效应”问题。因此，全面并规范实现基于BSP模型的大规模图处理系统的容错机制以及有效实现动态负载均衡机制是课题研究的重点和难点问题。针对上述问题，本文设计并实现了基于BC．BSP系统的容错和动态负载均衡机制。本文的主要贡献如下：第一，对于BC．BSP系统的容错机

6、制，本文提出了异常处理模型。该异常处理模型对系统可能出现的异常制定了完善的侦测方案，同时，通过对异常进行规范编码可以结合相应的异常处理机制有效地处理系统中的各种异常；第二，本文还为BSPController节点提供了HA机制以解决BSPController节点单点故障的问题。本文实现的BSPControllerHA机制通过采用热备的方案实现，并将BSPController备份信息存储在HDFS上以便保持主备节点的信息同步。通过Zookeeper服务，BSPControllerHA机制有效地实现了BS

7、PController节点故障侦测和主备节点自动切换；第三，本文设计并实现了动态负载均衡机制。通过收集任务的相关决策信息并按照本文设计的选择方案可以正确选择短板任务，然后根据相应的迁移策略实现短板任务迁移。通过该机制可以有效实现短板任务迁移并改变节点负载，从而提高作业的运行效率。经过实际部署和测试，基于BC．BSP系统的容错机制和动态负载均衡机制取得了预期的效果。通过BSPControllerHA机制，可以实现在BSPController故障后及时侦测并自动切换，然后快速恢复作业运行状态。同时，动态

8、负载均衡机制也提高了作业的运行效率，解决了作业由于节点硬件问题或节点负载不均衡而产生的“水桶效应”问题。关键词：BC．BSP：容错机制；动态负载均衡机制；HA机制万方数据ResearchandImplementationofFaultToleranceandDynamicLoadBalancingMechanisminBC·BSPSystemAbstractGraphisthemostcommontypeofabstractdatastructureincompute