状态标示说明初始值ispull-Indico课件.ppt

《状态标示说明初始值ispull-Indico课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于openstack的虚拟资源调度技术研究中科院高能物理研究所计算中心李海波2015-8-18提纲研究背景及意义系统架构动态调度算法下一步工作集群环境及存在问题高能物理作业是数据密集型计算，具有数据量大、应用类型多的特点，目前采用物理机集群，每个应用有专门的队列集群。存在问题：资源利用率不高多应用抢占资源共享性差虚拟集群技术虚拟集群提高资源利用率提高资源调度效率提高平台异构性简化管理绿色，节能面临的挑战1.底层虚拟化平台的选择：openstack2.PBS队列调度系统（Torque、Condo

2、r）不支持虚拟机队列3.虚拟资源的管理与调度底层虚拟化平台选择：Openstack主流开源云计算平台，功能强大部署方便，技术成熟提供openAPI，方便二次开发虚拟资源管理与调度系统组件虚拟作业层PBS调度系统建立虚拟队列虚拟机资源管理层负责虚拟机的启动、停止区分不同的作业类型虚拟化平台层负责作业的运行虚拟作业表由Torque或Condor等队列调度系统生成，供虚拟平台拉取作业使用。表结构用户提交的作业的基本信息，如作业名、用户名、用户属组等信息虚拟作业的属性信息，包括虚拟作业队列名称、虚拟机地

3、址、虚拟机心跳时间字段值说明字段值说明job_hashname作业idegroup用户所属组job_name作业名字status作业运行状态init_workdir提交作业目录exit_status作业退出状态output_path标准文件输出路径vm_ipaddr虚拟机地址error_path错误文件输出路径vm_procid虚拟作业idshell作业运行shell环境last_heartbeat虚拟机心跳时间varlist环境变量列表queue_name虚拟作业队列名称mom_exec_ho

4、stPBS作业执行节点to_be_deleted作业是否删除euser用户名others1others2预留字段运行流程采用推拉结合的作业运行方式1）用户通过Torque或者Condor方式提交作业后，作业信息被推送到虚拟作业表里。2）虚拟资源管理层通过虚拟作业表里的作业队列信息，进行相应队列类型的虚拟机启动。3）虚拟机启动后，虚拟机上的进程向虚拟作业表请求作业信息，取到对应类型的作业后执行此作业。4）作业执行结束后，虚拟机上的进程将作业输出写回，并再次执行拉取作业过程，同时监控虚拟机的作业状态

5、，在虚拟机运行作业时，保证虚拟机不会被删除。技术实现OpenstackAPI包接口每次调用时会面临一些初始化问题，以及tokens失效等问题，调用不方便将openstackAPI重新打包，方便虚拟集群调用虚拟机上的jobagent实现“拉”作业的功能虚拟机上内置jobagent进程始化作业运行环境，包括用户身份的转换，shell的设置，作业运行环境变量设置监控虚拟机状态动态调度算法虚拟机启动调度jobagent作业拉取虚拟机删除变量声明定义：需要启动的虚拟机数量：VT当前处于创建状态的虚拟机数量

6、：VB当前处于删除状态的虚拟机数量：VD当前作业id：P虚拟机类型：VM_type当前系统虚拟机配额：Q当前处于activie状态的虚拟机列表：VM_IP_LIST当前active的虚拟机数量：VA状态字段：状态标示说明初始值ispull是否可以拉取作业True：可以拉取Isdel是否可以删除Flase：不能删除虚拟机启动调度线性加减法Measure#VT,#Q，#VA,#VB,#VDVN=VT-VAifVN==0then//虚拟机当前运行数量与所需数量相等returnelifVN>0then/

7、/启动虚拟机ifVN>=Q–VAthenstartVM（VM_type，Q-VA）elifVN

8、拉取作业，默认可拉取Isdel:是否可以删除，默认不可删除当虚拟机拉取到作业后，将isdel状态设置为不可删除状态，设置环境，运行作业当此作业运行完成后，将isdel变为可删除状态。如果此时jobagent收到虚拟机管理层发来的虚拟机是否可删除询问时，将ispull状态设置为不可拉取作业状态，这样就可以关闭此虚拟机。下一步工作虚拟资源监控虚拟调度策略优化Cluster集群模式下的虚拟资源调度小结提出一种支持队列调度系统与openstack结合的虚拟资源动态调度系统。对用户透明。能够有效提高计算资