基于高性能计算系统日志的调度策略研究

《基于高性能计算系统日志的调度策略研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文基于高性能计算系统日志的调度策略研究作者姓名孙毅臻工程领域软件工程校内指导教师董守斌教授校外指导教师邓小丹研究员所在学院软件学院论文提交日期2016年3月JobSchedulingResearchBasedonHighPerformanceComputingSystemLogADissertationSubmittedfortheDegreeofMasterCandidate：SunYizhenSupervisor：Prof.DongShoubinProf.DengXiaodanSouthChinaUniversityofTechnolog

2、yGuangzhou,China分类号：TP391学校代号：10561学号：201121029059华南理工大学硕士学位论文基于高性能计算系统日志的调度策略研究作者姓名：孙毅臻申请学位级别：工程硕士工程领域名称：软件工程校内指导教师姓名、职称：董守斌教授校外指导教师姓名、职称：邓小丹研究员论文形式：ꇶ产品研发ꇶ工程设计√应用研究ꇶ工程/项目管理ꇶ调研报告研究方向：商务智能论文提交日期：2016年3月21日论文答辩日期：2016年3月25日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：闵华清委员：董守斌、袁峰、朱金辉、蔡毅华南理工大学

3、学位论文原创性声明、本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加臥标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研巧做出重要贡献的个人和集体，巧己在文中１＾＾１明确方式标明。本人完全意识到本声明的法律后果由本人承担。Ｕ《作者签名；日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，ｇｐ：研究生在校攻读学位期间论文工作的知识产权单位属华南理工大学。学校有权保存并向国家有关部口或机构送交论文的复印件

4、和电子版，允许学位论文被查阅（除在保密期内的保密论文外）；学校可Ｗ公布学位论文的全部或部分内容，可ｙｉ允许采用影印、缩印或其它复制手段保存、汇编学位一论文．本人电子文档的内容和纸质论文的内容相致。。本学位论文属于：□保密，在年解密后适用本授权书。町不保密，同意在校园网上发布，供校内师生和与学校有共享协议的单位浏览；同意将本人学位论文提交中国学术期刊（光盘版）电子杂志社全文出版和编入ＣＮＫＩ《中国知识资源总库》，传播学位论文的全部或部分内容。上相应方框＂＂（请在Ｗ内打Ｖ）．（《〇＾Ｕｄ無球別＾勾作者签名；斯日

5、期；身、指导教师签名：日撕２〇｜（年，ｆ／斗＂日作联者联系电话；电子邮箱；系地址（含邮编）；摘要在高性能计算集群中，集群管理系统扮演着极其重要的作用，作业调度又是集群管理的核心。作业调度涉及作业从提交到结束的整个过程，关系到集群的各个部分。设计和使用一个有效的作业调度算法，能够充分利用高性能计算集群系统资源，保证作业迅速而又高效的执行。作业调度是作业到资源的关系映射，而作业对资源的使用产生系统日志。调度策略的性能与作业的负载特性直接相关，通过对系统日志的提取与分析，可以深入挖掘作业调度的性能特征，在此基础上提出优化的调度策略，改善系统性能。

6、仿真是对复杂系统进行研究的一种有效的手段,在对调度算法进行研究与评估的过程中，使用作业调度模拟器搭建仿真环境进行研究能够起到事半功倍的效果。本文基于高性能计算系统的工作日志分析，提出了一个多队列回填作业调度算法，并且搭建仿真框架利用实际系统作业日志进行仿真实验，验证了本文提出的调度算法的有效性。主要研究内容包括：(1)对深圳华大基因研究院（BGI）高性能计算集群进行了研究，通过对高性能计算系统实际工作日志的分析，总结出系统及作业调度的特性。在此基础上利用GridSim模拟器搭建仿真框架，模拟BGI的集群管理系统，进行作业调度的仿真。(2)针对原有作业调度策

7、略的不足与缺陷进行了改进，提出了基于内存资源优化的回填调度算法与多队列负载均衡调度算法。基于内存资源优化的回填调度在传统回填调度算法的基础上进行了改进，结合内存资源的需求进行作业预约与作业回填。多队列负载均衡调度提供了队列级别的负载均衡，并且在此基础上提出了改进方案：动态选择阈值策略与优化迁移策略。(3)在仿真框架中利用实际系统的作业日志进行实验仿真。仿真结果表明，采用本文提出的调度算法，各种性能指标都优于传统的作业调度算法。因此，基于本文的调度策略，能够有效的降低作业等待，提升系统的吞吐率，对于作业响应以及系统资源利用有着更好的效果。关键词：高性能计算；

8、作业调度；回填；负载均衡；GridSimAbstractInhig