基于集群的多任务调度处理方案研究.pdf

《基于集群的多任务调度处理方案研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级公幵编号！七擘蹄士研究嗲依儉夂题目墓干龜群的多任务调麽处理方案研究学院（所、中心）信肩、学院专业名称术研究生姓名学号异市姓名职称副教授年月论文独创性声明及使用授权本论文是作者在导师指导下取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人己经发表或撰写过的研宄成果，不存在剽窃或抄袭行为。与作者一同工作的同志对本研宄所做的任何贡献均己在论文中作了明确的说明并表示了谢意。现就论文的使用对云南大学授权如下：学校有权保留本论文（含电子版），也可以采用影印、缩印或其他复制手段保存论文；学校有权公布论文的全部或部分内容，可以将论文用于查阅或借阅服务；学校有权向有关机构送

2、交学位论文用于学术规范审查、社会监督或评奖；学校有权将学位论文的全部或部分内容录入有关数据库用于检索服务。内部或保密的论文在解密后应遵循此规定）研宄生签名：被导师签名：冬灵期摘要摘要当今是大数据时代，而大数据中潜藏着不可估量的价值，因此越来越多的公司应用分布式数据仓库来存储大数据，进而挖掘和利用其价值。在应用分布式数据仓库的场景中，每天需要运行各种任务来对大数据进行处理、分析、统计等，其中一些是后台常驻的实时任务，如监控任务、实时流计算等，一些是短暂但又繁杂的定时任务，需要专门的线程进行维护。虽然采用了分布式架构，但因数据量庞大、任务过多仍然会导致许多问题，如服务器崩溃导致数据丢失、集

3、群资源不被合理利用等。由此可见，对所有任务进行合理的调度是十分必要且迫切的。本文首先阐述实时任务和定时任务在分布式数据仓库场景下所面临的各类问题，并分析了实时和定时任务的操作需求和执行流程；其次在此基础上，将这两种类型任务的执行流程进行粒度细化，仿照操作系统中的线程分别为实时和定时任务构建了适合的生命周期模型，并提出了应对这两类任务的调度处理方案；最后基于提出的实时和定时调度处理方案，实现了简单的调度系统。调度系统前后端分离，并采用轻量级的工具进行连接，大大降低了它们之间的耦合度，后端采用非阻塞式的服务器框架在很大程度上简化了对网络的编程，服务器端与客户机端之间采用建立非阻塞式通信。服

4、务器端调度系统根据任务类型、执行条件的不同适时向对应客户机集群发送执行任务消息，客户端接收到信息并执行任务操作，在完成任务操作后发送信息反馈回调度系统，调度系统根据客户端执行情况决定下一步的操作任务。本文提出的方案在综合考虑服务器状况、网络状况、客户机状况、任务状况、资源分配、负载均衡等诸多因素的前提下，对定时、实时任务进行调度处理，具有减轻服务器压力、大大提高系统响应速度、提升任务执行效率、合理利用集群资源等特点。方案不仅可以提高系统对实时和定时任务的调度处理的效率，还能对其他调度处理问题的研究提供参考。关键词：实时任务，定时任务，分布式，调度，集群云南大学硕士学位论文Abstrac

5、twhichreflectsworker-sidesituations.Theprogramtakestheserverstatus,networkstatus,clientstatus,taskstatus,resourceallocation,loadbalancing’，云南大学硕士学位论文目录艘研究背景国内外研宄现状研宂内容章节安排第二章相关背景知识大数据分布式存储基本概念分布式数据库数据库与数据仓库的差异分布式数据仓库的设计原则定时任务定时器定时器与定时任务实时任务本章小结第三章相关技术介绍鍵与目录本章小结第四章定时任务调度处理方案方案概述方案设计需求分析系统总体设计核心部分

6、介绍任务状态模型：任务执行规则任务执行脚本任务执行频率配置数据库设计方案实现概述前端功能模块服务器后端功能模块客户机端功能模块系统处理人工操作流程系统处理自动生成定时任务流程系统使用流程核心模块实验数据本章小结第五章实时任务调度处理方案方案概述方案设计需求分析云南大学硕士学位论文系统总体设计核心部分介绍任务生命周期模型操作任务的设计数据库设计方案实现概述前端功能模块服务器后端功能模块客户机端功能模块系统处理操作流程系统使用流程核心模块实验数据本章小结第六章总结与展望工作总结工作展望：：■攻读硕士学位期间完成的科研成果第一章绪论第一章绪论研究背景从计算机诞生以来，计算机技术己经融入到人类

7、生活的各个领域。现在，计算机不再只是放在科研室里的大型贵重机器，而是嵌入到与人类工作、生活、学习等活动密切相关的各类设备里来为人类服务。计算机系统里的各种字符、图像、声音、视频等都是数据的组成部分，随着计算机的各种应用而不断产生。从大的方面，有智慧地球这类庞大的计算机项目，产生各类意义重大的海量数据；从小的方面，近年来人们在生活中普遍使用的智能手机、智能眼镜甚至是智能腕带等穿戴设备，也在源源不断的产生着总量庞大的数据，与计算机技术的联系越来越紧