基于人工蜂群算法的hadoop调度算法研究与改进

《基于人工蜂群算法的hadoop调度算法研究与改进》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：TP399密级：公开UDC：620学校代码：11832河北经贸大学硕士学位论文（学历硕士）基于人工蜂群算法的Hadoop调度算法研究与改进ResearchandimprovementofHadoopschedulingalgorithmbasedonartificialbeecolonyalgorithm作者姓名：赵树超指导教师：王素贞教授学科专业名称：计算机软件与理论论文完成日期：2016年3月二〇一六年三月二十八日I中图分类号：TP399密级：公开UDC：620学校代码：11832河北经贸大学

2、硕士学位论文（学历硕士）基于人工蜂群算法的Hadoop调度算法研究与改进ResearchandimprovementofHadoopschedulingalgorithmbasedonartificialbeecolonyalgorithm作者姓名：赵树超指导教师：王素贞教授学科专业名称：计算机软件与理论论文完成日期：2016年3月I学位论文原创性声明本人所提交的学位论文《基于人工蜂群算法的Ｈａｄｏｏｐ调度算法研究与改进》，是。在导师的指导下，独立进行研究工作所取得的原创性成果除文中己经注明引用的内容

3、外，本论文不包含任何其他个人或集体己经发表或撰写过的研究成果。对本文的研究做。出重耍贡献的个人和集体，均ｄ在文中标明本声明的法律后果由本人承担。文论文作者（签名）；豁指导教师确认（签名）；＾起姑＾＾１年／月曰年＾月レ曰；（学位论文版校使用授巧书本学位论义作者完全／解河北经贸大学有权保留并向围家有关部口或机构送交学位论文的复印件和擺盘Ｌ义将学位论，允许论文被查阅和借阅。本人授权河北经贸大学可丈的全部或部分内容编入有关数据库进巧检秦，可采用影印、缩印或其它复制手段保

4、存、汇编学位论文。（保密的学位论文在年解密后适用本授权ｔ；）■论文作者（签名）：赵如起搞导教师（签名）：不心年＾月ＶＧｗ／年／月Ｌ曰摘要群智能优化算法在解决NP类问题具有较高的效率和收敛速度，已经得到国内外越来越多的研究者和工程技术人员的关注，群智能优化算法已经成为解决云计算资源调度问题主要研究方向之一。目前对群智能优化算法的研究主要有两个方向，一是对某一群智能算法进行深入研究，通过改善自身缺点，吸收引进其他智能优化算法的特性进行改进和优化，二是将多种群智能算法通过不同的方式进行结合，取

5、长补短，产生新的智能算法。本文也分别从这两个方向上入手进行研究，目的是优化云计算平台资源调度，具体选择Hadoop云计算平台，改进Hadoop集群的资源调度效率。本文的目的是通过改进智能优化算法或结合多个优化算法的生成新的算法对Hadoop的资源调度给多个任务，找出任务总完成时间的极小值。首先对几种较成熟的优化算法进行对比，通过对各智能优化算法各优缺点的分析发现，人工蜂群算法与其他算法相比对问题维数不太敏感，适合于求解高维问题，并且具有控制参数少、鲁棒性强、收敛速度快等优点，对于解决云资源调度问题具有十分明显

6、的优势。因此本文针对人工蜂群算法提出了以下2种算法改进思路：(1)基于改进的人工蜂群算法的hadoop作业调度研究针对人工蜂群算法易于陷入局部极值的问题，首先引进高斯变异思想，提升人工蜂群的局部搜索能力，然后引进自适应因子，动态调整蜂群的寻优策略，加快搜索速度，提高搜索能力，优化了云计算资源的调度策略，提高了资源利用率，减少了任务的完成时间。(2)基于差分-蜂群混合调度算法的hadoop作业调度研究将群智能优化算法中的两个或多个算法进行按照一定策略进行融合，会发挥各自的特点，实际效果超过任何一个单独的优化算法

7、。因此本文提出了一种差分-蜂群混合作业调度算法，用于大规模并行计算时进行资源调度，发挥两个算法各自的优势，可以减少算法的收敛时间和迭代次数，取得稳定有效的最优解，最大限度地提云计算资源调度的效率。最后通过搭建Hadoop集群，在集群上实现并验证了改进的人工蜂群调度算法和差分-蜂群混合调度算法，通过多次实验分析，选择最适合的参数值，以保证算法达到最佳性能。通过实验，对优化后的算法的性能进行了测试，并与Hadoop的原调度算法进III行了比较。对实验结果分析比较得出的结论是：改进后的人工算法和混合算法缩短了作业的

8、总的完成时间，在一定程度上提升了集群的效率。关键词:云资源调度Hadoop集群人工蜂群算法差分-蜂群混合算法IVAbstractSwarmintelligenceoptimizationalgorithmhashighefficiencyandconvergencespeedinsolvingNPproblems,whichhasgottheattentionofmoreandmoredomesti