集群计算中作业管理系统的剖析与作业调度策略的研究

《集群计算中作业管理系统的剖析与作业调度策略的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、哈尔滨工业大学工学硕士学位论文摘要集群计算正日益成为企业和科研群体在挖掘资源潜力、整合计算能力方面所青睐的技术。从本质上说，集群计算是分布式计算的一种，它利用网络将某个环境内各种各样的资源集成一个整体，从全局的角度充分地利用现有的资源，从而获得巨大的服务能力。其中实现如此性能的核心之一，就是要使集群系统具有很出色的作业调度能力。本文研究的重点有两个:一是对SUN公司开发的集群管理系统SunGridEngin。进行代码剖析，这样即可以充分了解集群作业管理系统运转的机制，又便于利用分析的结果、以SunGrid

2、Engine软件为基础做研究。二是对当前集群计算作业调度策略的研究成果进行总结、分析，从中寻找问题与不足，找到研究方向，进而提出改进方法。本文首先对集群计算技术的研究现状和相关的基础理论进行了交代，便于读者对该项技术获得深入的了解并建立概念基础，为理解接下来的内容做准备。随后我们整理和总结了当前各种成熟的集群作业调度策略，从中发现在已有的技术中存在着对作业的各种复杂情况的处理不够细致的一面。本人选取了作业调度不当导致的资源碎片问题作为自己的研究重点。接下来是对SunGridEngine软件各部件的剖析，不

3、仅使大家对该作业管理系统的运转机制产生清晰的认识，还详细而完整地总结出了SunGridEngine体现于各处的作业调度策略。最后以此为基础，我提出了一个与SunGridEngine作业调度机制紧密结合的、用于解决前一段提出的资源碎片问题的算法—碎片避免算法。关键词集群计算;作业调度策略;作业管理系统哈尔滨工业大学工学硕士学位论文AbstractTheclustercomputingisbecomingincreasinglythetechnologywhichtheenterprisesandscient

4、ificresearchcomplexesliketousetoachievethepotentialoftheresourcesandorganizethecomputingcapacityasawhole.Itintegratesvariedresourcesinaenvironmentintoonebigcomputer,andmakethebestuseofresourcestogainlargeservingcapacity.Oneofthemostsignificantwaystocarryo

5、utthegoalisthejobschedulingpolicyofaclustersystem.Thethesisfocusesontwopoints.First,IhaveanalyzedthecodeofjobmanagementsysteminSunGridEnginewhichisdevelopedbySUN.Thefruitwillhelptheresearchersmakemoreresearchonthebasisoftheproduct.Secondly,Isummarizeandco

6、ordinatetheresearchofothersinthesedays.1trytolookformyfocusfromtheproblemsandshortageofothers'theory.Aboveall,Iintroducethebasictheoryonthefieldandthedevelopmentofclustercomputing.Thereaderscanunderstandthetechnologythoroughlyandbuildupthebasisofcorrelati

7、veconceptionusingthisparttomakeapreparationforunderstandingthefollowingpartsofthethesis.Subsequently,Icoordinateandsummarizeallkindsofmaturejobschedulingpoliciesinclustersandfindthattheexistingpoliciesaretoosimpletodisposediversifiedcomplexitiescausedbyjo

8、bscheduling.Iselecttheresourcefragmentsledbyunsuitablejobschedulingasmyresearchemphases.ThefollowingpartofthethesisistheanalysesofeverycomponentofSunGridEngine.Thisworknotonlyhelptheresearcherscomprehendthemechanism