面向ivce云平台的数据分析任务调度系统的设计与实现

《面向ivce云平台的数据分析任务调度系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文面向iVCE云平台的数据分析任务调度系统的设计与实现DESIGNANDIMPLEMENTATIONOFADATAANALYSISTASKSCHEDULINGSYSTEMFORiVCECLOUDPLATFORM王靖云哈尔滨工业大学2016年6月国内图书分类号：TP393.0学校代码：10213国际图书分类号：681.3.06密级：公开工程硕士学位论文面向iVCE云平台的数据分析任务调度系统的设计与实现硕士研究生：王靖云导师：方滨兴申请学位：工程硕士学科：计算机技术所在单位：计算机科学与技术学院答辩日期：2016年6月授予学位单位

2、：哈尔滨工业大学ClassifiedIndex:TP393.0U.D.C:681.3.06DissertationfortheMasterDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFADATAANALYSISTASKSCHEDULINGSYSTEMFORiVCECLOUDPLATFORMCandidate：WangJingyunSupervisor：Prof.FangBinxingAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：Com

3、puterTechnologySchoolofComputerScienceandAffiliation：TechnologyDateofDefence：June,2016Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要随着大数据时代的到来，对数据的处理能力要求也越来越高。云计算作为一种高效的计算模式，在处理海量数据时有着得天独厚的优势。各大IT巨头纷纷推出了自己的云计算平台，为人们提供高效、快速的服务。此外，很多机构组织也开始搭建私有云平

4、台，用于处理对安全性有较高要求的数据。因此，如何对任务进行合理、高效地调度，成为如今云计算领域亟待解决的问题。本文提出了以应用评测结果为依据，对任务进行划分以及资源匹配的任务调度策略，设计并实现了面向iVCE云平台的数据分析任务调度系统。该系统可对平台上的数据分析任务进行更加合理地切分，并选择资源类型与任务资源需求最匹配的节点来执行任务。首先，本文介绍了云计算任务调度的相关理论，包括云计算概述、云计算任务调度的特点以及经典的调度算法。其次，本文设计并实现了面向iVCE云平台的数据分析任务调度系统。该系统分为应用管理、任务管理、任务调度三个

5、子系统。其中应用管理子系统包括应用注册以及应用评测，分别负责应用的添加以及对应用的资源消耗和运行状况进行评测。任务管理子系统包括任务提交、任务划分、任务队列管理以及任务状态监测，任务提交负责用户添加任务，任务划分在功能和数据两个级别分别对任务进行划分，将大任务变为更容易调度和执行的小任务，任务队列管理可以满足调度过程中任务不同状态的需求，包括等待任务队列、就绪任务队列、挂起任务队列和重调度任务队列，任务状态监测负责实时监测任务所处的调度状态。任务调度子系统包括资源匹配、任务分配以及任务重调度，资源匹配负责为任务选取合适的执行节点，任务分配

6、负责将任务下发至执行节点并回收结果，任务重调度负责任务在调度过程中出现异常之后进行再次调度。最后，本文对iVCE云平台的数据分析任务调度系统从应用评估、任务划分、任务状态监测等方面进行测试，并以DNS源IP异常检测作为数据分析任务的实例在整体上对系统进行测试，结果表明该系统达到设计目标。综上所述，本文设计并实现了面向iVCE云平台的数据分析任务调度系统，具备应用管理、任务管理、任务调度等功能，达到系统设计的要求。关键词：云计算；任务调度；任务划分；资源匹配-IV-哈尔滨工业大学工程硕士学位论文AbstractWiththeadventof

7、ageofbigdata,thedataprocessingcapacityismorevital.Asakindofefficientcomputingmode,cloudcomputinghasauniqueadvantageinprocessingmassdata.TheITgiantshavelaunchedtheirowncloudcomputingplatformsinordertoprovidepeoplewithefficient,fastandpersonalizedservice.Besides,manyorganiz

8、ationsalsobegantobuildprivatecloudplatformstoprocessthedatawhichhavehighrequirementsforsecurity.