面向web的高性能计算集群作业调度系统

《面向web的高性能计算集群作业调度系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、面向Web的高性能计算集群作业调度系统　　摘要：目前高性能计算机集群的作业提交和运行状况反馈大多是基于linux系统的命令行方式，该种操作需要操作人员对Linux系统和高性能计算机集群命令有一定的了解。对非计算机专业人员而说，使用高性能计算机集群非常不方便。基于这一现状设计了一个基于Web提交的高性能计算机集群作业调度系统，系统主要有作业提交、作业查询、用户信息修改查询和记录操作等功能。Web前端通过Http协议将用户请求和数据传输到后台服务器，后台服务器通过过滤器拦截提取分析用户请求，根据用户请求通过ssh安全协议将文

2、件提交到作业调度系统，执行命令。实现了用户通过图形界面友好方便地使用作业调度系统。　　关键词：计算机集群；javaweb；作业调度系统；ssh协议；界面功能　　中图分类号：TP311文献标识码：A文章编号：1009-3044（2016）27-0205-03　　Abstract：Manyhealthofuniversityhigh-performancecomputerclustersoutofthefeedbackinformationisbasedonlinuxsystemshellinterface，thisinte

3、rfaceisneitherbeautifulnorconvenientforpeopleoperatingandrequiresprofessionalandtechnicalpersonnelinputcommandcharacter.Basedonthissituationwedesignedahigh-performancecomputerclustera6Web-basedsystemisdividedintotwoparts，userinterfaceandadministratorinterface，the

4、rearetwopartsinjobsubmission，jobqueriesandqueryrecordsandmodifysomeoftheinformationfunction，theoperatingsystembecomesvisualquerywithouthavingtoenterthecommandcharacter，simplyclickinterface，graphicalcomponents，feedbackoutoftheinformationdisplayedonthewebnaturallyi

5、nterface.　　Keywords：computerclusters；web；jobactions；feedback；interfacefeatures　　1背景　　高性能计算技术目前已越来越广泛的用于科学计算、金融分析、气象预测等多个领域。人们对于大规模计算的需求急剧增加。由于高性能计算机的操作要求较高，需要用户对linux系统和作业调度系统有一定的了解，并熟练掌握作业调度系统的命令。这对于非计算机专业的使用人员来说并不友好：第一，他们需要的是对高性能计算机集群的操作，对学习linux系统和集群命令并不感兴趣；第二

6、，使用命令行来进行操作十分复杂，需要使用者对集群的架构十分清楚。　　基于以上原因，本工作本着操作简化的原则，研制了一个基于WEB提交查询作业的作业调度系统，通过WEB界面上的图形组件直接与安装在集群上的作业调度系统进行通信。　　2关键技术6　　本工作使用动态网页技术标准JSP，涉及JAVA编程语言、ssh传输协议、SQL数据库，以及TORQUE高性能集群作业管理系统和Linux操作系统。　　3系统结构功能分析　　3.1系统的结构　　系统用户分为普通用户和管理员两类：普通用户实现作业提交、作业查询、用户信息查询修改和操作记

7、录查询功能；管理员在普通用户功能的基础上增加了控制用户和控制计算作业的功能。　　系统结构图如图1。　　4模块分析　　4.1作业提交模块　　Web前端通过html的file标签获取本地要提交的作业，通过http协议提交到服务器中，在获取本地文件的同时，还需在网页上填写或选择脚本信息，数据提交到web后台处理，在服务器本地中生成脚本文件。然后通过ssh协议，将获取到的作业和生成的脚本文件提交到远程作业调度系统中，再通过ssh协议向作业调度系统发出提交作业的命令，实现向作业调度系统提交作业的功能。如果脚本文件是windows/

8、Dos环境下生成的，还需要传输格式转换命令，将脚本文件转换为unix格式。作业提交模块流程如图2所示。　　4.2作业查询模块6　　Web前端的作业查询是对数据库进行查询。用户要执行作业查询操作时，web后台向作业调度系统传输查询作业命令，并将查询结果重定向输入到一个文本文件中。将记录作业状态的文本文件下载到服务器中，