storm实时计算任务调度及负载均衡机制研究

《storm实时计算任务调度及负载均衡机制研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP311密级公开UDC004学位论文编号D-10617-308-(2016)-02065重庆邮电大学硕士学位论文中文题目Storm实时计算任务调度及负载均衡机制研究英文题目TheResearchofTaskSchedulingandLoadBalancingMechanismofStormReal-timeComputing学号S130201068姓名王贤稳学位类别工学硕士学科专业计算机科学与技术指导教师熊安萍教授完成日期2016年06月01日独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外

2、，论文中不包含他人已经发表或撰写过的研究成果，也不包含为获得重庆邮电大学或其他单位的学位或证书而使用过的材料。与我一同工作的人员对本文研究做出的贡献均已在论文中作了明确的说明并致以谢意。作者签名：日期：年月日学位论文版权使用授权书本人完全了解重庆邮电大学有权保留、使用学位论文纸质版和电子版的规定，即学校有权向国家有关部门或机构送交论文，允许论文被查阅和借阅等。本人授权重庆邮电大学可以公布本学位论文的全部或部分内容，可编入有关数据库或信息系统进行检索、分析或评价，可以采用影印、缩印、扫描或拷贝等复制手段保存、汇编本学位论文。（注：保密的学位论文在解密后适用本授权书。）作者签名：导

3、师签名：日期：年月日日期：年月日重庆邮电大学硕士学位论文摘要摘要大数据背景下，数据蕴含了丰富的内涵和价值，而滞后的数据分析会影响数据价值的发挥。在实时计算与流式数据处理越来越重要的今天，Storm实时计算框架应运而生。Storm是一款分布式开源实时计算系统，它设计了一种对流和计算的抽象。Storm实时计算框架以其高可扩展性、高可容错性、高效性等良好特性，得到了众多科研机构的青睐，被广泛应用于国内外数据资产丰富的企业。通过研读Storm相关源代码，着重分析了Storm系统的体系架构、Storm调度算法的实现机制以及Storm集群的负载均衡策略。在此基础上，研究了改进Storm调度

4、算法性能和优化集群负载均衡的方法。具体而言，主要完成了以下工作：1.针对Storm中默认调度算法没有考虑由计算节点间网络通信开销而引起任务处理时延高、集群吞吐量低的问题，提出了一种基于Topology热边的调度算法，将热边关联的executor调度到相同节点上运行以降低网络通信。实验结果表明，该调度算法能够有效减少节点间通信量、降低tuple处理时延并提高系统吞吐量，相比于Storm默认的调度算法，提出的改进调度算法在整体性能上有20%-25%的提升。2.针对集群节点间slot资源使用不均衡问题，提出一种基于slot使用率低优先的动态负载均衡策略，优先分配slot使用率低的节点

5、并在集群节点之间动态迁移负载。实验结果表明，该负载均衡策略能够有效均衡节点间slot使用率，促进Storm集群系统负载均衡。研究工作表明，对Storm调度算法以及负载均衡策略的研究和改进，能够进一步改善Storm处理任务时的通信时延问题，并使得Storm集群节点之间的slot使用率均衡，从而提升了Storm实时计算框架的综合性能。关键词：Storm，实时计算，Topology热边，slot使用率，负载均衡I重庆邮电大学硕士学位论文AbstractAbstractUnderthebackgroundofbigdata,datacontainsawealthofmeaningand

6、value,andhysteresisdataanalysiswillaffectthevalueofthedata.Intherealtimecomputationanddatastreamprocessingisbecomingmoreandmoreimportanttoday,Stormcameintotheframeworkofreal-timecomputing.Stormisanopensourcereal-timedistributedcomputingsystem,itdesignsanabstractionofstreamandcomputing.Stormr

7、eal-timecomputingframeworkwithitshighscalability,highfault-tolerant,highefficiencyandothergoodcharacteristics,hasbeenfavoredbymanyscientificresearchinstitutionsandhasbeenwidelyusedindataassetsrichenterpriseathomeandabroad.BystudyingtheStormrelateds