作业管理系统中基于数据感知的调度子系统的设计与实现

《作业管理系统中基于数据感知的调度子系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、硕士学位论文（工程硕士）作业管理系统中基于数据感知的调度子系统的设计与实现THEDESIGNANDIMPLEMENTATIONOFDATA-AWARE-BASEDSCHEDULINGSUBSYSTEMINJOBMANAGEMENTSYSTEM李晓婕哈尔滨工业大学2012年6月国内图书分类号：TP311国际图书分类号：621.3学校代码：10213密级：公开工程硕士学位论文作业管理系统中基于数据感知的调度子系统的设计与实现硕士研究生：李晓婕导师：苏小红教授副导师：孙宏伟高级工程师申请学位：工程硕士学科：软件工程所在单位：软件学院答辩日

2、期：2012年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP311U.D.C.:621.3DissertationfortheMaster’sDegreeinEngineeringTHEDESIGNANDIMPLEMENTATIONOFDATA-AWARE-BASEDSCHEDULINGSUBSYSTEMINJOBMANAGEMENTSYSTEMCandidate:Supervisor:AssociateSupervisor:AcademicDegreeAppliedfor:Speciality:Affiliation:

3、DateofDefence:Degree-Conferring-Institution:LiXiaojieProf.SuXiaohongSeniorEngineerSunHongweiMasterofEngineeringSoftwareEngineeringSchoolofSoftwareJune,2012HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要由于位于多个物理位置上的多集群环境的出现，和在这种环境下对数据访问的限制和对数据管理的缺乏，导致了这种环境下缺乏对数据敏感型作业的有效管理。本文所

4、研究的内容是开发能够与LSF作业管理系统协作的调度子系统，管理多集群中的数据资源并能够根据集群中的数据资源高效和准确进行作业调度。本论文主要是实现基于数据感知的调度，使作业在提交到系统后，系统能够根据作业需要的数据和系统所掌握的集群中的数据信息来将作业派遣到集群中合适的计算结点上执行。为实现基于数据感知调度，本论文还完成了对集群中数据资源的管理。本论文设计和实现了数据集管理模块、storage管理模块、缓存管理模块、配置管理模块、数据传输模块、远端数据管理模块和调度模块。在数据集管理模块和storage管理模块中，分别实现了对集群中数据集和s

5、torage的管理功能；在缓存管理模块中，实现了对集群间传输的数据的缓存功能，并维护缓存数据的生命周期；在配置管理模块中，实现了根据用户配置的信息来进行系统信息初始化功能；在数据传输模块中，实现了在集群间传输数据的功能；在远端数据管理模块中，实现了集群与其他集群间共享数据信息的功能；在调度模块中，实现了根据数据信息来制定调度决策的功能。通过以上模块之间的交互，以及系统与作业管理系统的协作，实现了基于数据感知的调度，使数据敏感型作业能够完全靠系统内部的管理和协调而成功运行在计算结点上。通过本系统与LSF作业管理系统的协作，用户能够更专注于作业的

6、逻辑而不需关心数据的分布，使得数据敏感型作业的整个周期都能够通过系统内部的协调和计算顺利的执行，而不再需要人工干预的过程，同时还能够为用户提供集群中的数据信息和存储信息。总体来说，实现了针对数据敏感型作业的调度，透明化了用户对数据的操作，提高了作业执行效率，提供了更完善的数据管理功能。关键字：多集群环境；数据感知；作业调度；缓存管理；数据敏感型作业-I-哈尔滨工业大学工程硕士学位论文AbstractAstheappearanceofthemulti-clusterenvironmentwhichlocatedinmultiplephysica

7、llocations,andthedataaccessrestrictionsandlackofdatamanagement,Thisconditionleadstoalackofeffectivemanagementofdatasensitivejobsinthisenvironment.ThisresearchistodevelopaschedulingsubsystemwhichcanworkswithLSFjobmanagementsystem,tomanagedataresourcesinmultipleclusterenviron

8、mentandsupportefficientandaccuratejobscheduling.Thispapermainlyimplementsdata-awar