分布式流计算平台上任务调度的关键技术研究

《分布式流计算平台上任务调度的关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码10701学号1210122644分类TN82号TP31密级公开西安电子科技大学硕士学位论文分布式流计算平台上任务调度的关键技术研究作者姓名：张世鹏领域：软件工程学位类别：工程硕士学校导师姓名、职称：武波教授企业导师姓名、职称：张闯副研究员提交日期：2014年10月AStudyofKeyTechnologiesaboutTaskSchedulingonDistributedStreamComputingPlatformAthesissubmittedtoXIDIANUNIVERSITYinpartial

2、fulfillmentoftherequirementsforthedegreeofMasterinSoftwareEngineeringByZhangShipengSupervisor:WuboZhangchuangOctober2014西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电

3、子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文若有不实之处，本人承担一切法律责任。本人签名：日期：西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属于西安电子科技大学。学校有权保留送交论文的复印件，允许查阅、借阅论文；学校可以公布论文的全部或部分内容，允许采用影印、缩印或其它复制手段保存论文。同时本人保证，获得学位后结合学位

4、论文研究成果撰写的文章，署名单位为西安电子科技大学。保密的学位论文在年解密后适用本授权书。本人签名：导师签名：日期：日期：摘要摘要近几年来，数据处理技术飞速地发展，一些基于数据分析的应用技术也随之大量涌现。并且伴随着各领域中信息采集技术的不断更新，出现了大量实时的非结构化数据，这些实时产生的数据像流水一样进入数据处理系统。如何实时地抓取数据流中有价值的信息，并实时地进行精确计算、得出相应结论至关重要。传统的分布式处理模式不可能实现上述需求，所以，一种全新的分布式流计算处理模式应运而生，这种处理模式以其良好的扩展

5、性、灵活性、易用性受到业界的欢迎。本文设计了一套完整的流计算处理平台，在这个平台上用户可以完全避免集群搭建、平台运维、通信实现的繁琐工作，大大缩短了开发周期。在分布式流计算系统（如云计算等）上，多任务需要同时运行复杂的计算，通常把这些任务分配到多个处理机上去处理，这个过程被称为任务调度。采用不同的任务调度算法对相同的输入数据流进行处理，最终的性能差异非常大。通常在传统的处理模式中，其输入大多都是静态数据，所以任务的执行时间是可预知的。在均衡处理机数目受限的条件下，只要给定一组DAG，经典的HEFT算法就能得到一

6、组高效的调度方案；但是实时流计算平台中的输入是源源不断的数据流，并且数据量的大小是不确定的，最终导致任务的执行时间是不确定的。这也就直接导致了HEFT算法在实际应用环境中，实验结果与预期结果差距较大。在分布式流计算系统里进行工作流任务调度时，如何解决单个任务执行时间的不确定性问题至关重要。由于这种不确定性的存在，静态的工作流任务调度方法将不再可用。因此本文提出一种基于蒙特卡洛的工作流任务调度方法，该方法建立在一种经典的启发式静态工作流任务调度方法（HEFT）基础之上，通过运用一种随机数生成算法，在一定约束条件下

7、大量生成任务执行时间，并结合正态分布、均匀分布模型对任务执行时间进行建模，从而确保了HEFT算法的可用性；利用HEFT算法，结合随机的任务执行时间，就可以生成大量的调度方案，再从这些调度方案中选出最优的调度方案，并作为最终的输出方案。整个过程通过对随机数生成机制、完工时间阈值的确定、各阶段重复次数的限定、性能评估标准等关键技术的研究，确保了此算法的高效性。通过把这一套全新的任务调度方法应用到“流水行云”平台中，并经过大量的实验以及性能测试，结果表明：本文提出的方法不仅大大缩短了任务的调度时间，显著提升了平台性能

8、，而且此方法还具有非常强的通用性。关键词：流计算平台，任务调度，静态启发式调度，蒙特卡洛方法论文类型：应用基础技术I西安电子科技大学硕士学位论文IIABSTRACTABSTRACTInrecentyears,alongwiththerapiddevelopmentofdataprocessingtechnology,theapplicationswhichisbasedondataan