应用层服务平台

《应用层服务平台》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、应用层服务平台一，总体架构集群由三部分组成：1，计算部分2，热存储部分3，冷存储部分计算部分由4个管理节点，160个普通计算节点，8个大内存节点组成。计算部分分成了两个模块，一个用于超算，一个用于大数据分析。超算模块，主节点njmasterOl，从节点160个普通计算节点外加njfat01-04、njfat08o作业调度系统LSF。大数据分析模块，主节点njserverOl,从节点njfat05-07。管理平台是spark。热存储部分，是高性能存储(ESS)，文件系统是gpfs，计算部分的所有节点均是gpfs集群的从节点，挂载了gpfs的文件系统。冷存储部分，是对象存储(object)

2、，热存储通过四个10节点，将数据从ESS传入object。二，计算部分的应用层服务平台1超算调度系统LSFIBMLSF是一种强大的工作负载管理平台，提供基于各种策略的智能调度功能，利用分布式的基础架构资源来提高整体的系统性能。同时，IBMLSF支持跨集群工作，用户可以通过LSF,来实现集群间的负载均衡，扩展集群构架和资源，最大限度的提高集群的使用效率。在当下，许多企业都面临一个头疼的问题，那就是如何管理各种各样的计算资源(如：CPU吋间、内存空间、网络带宽、应用程序等尤其是对于那些员工遍布全球的公司而言，如何充分利用有限的计算资源是非常关键的问题。由IBM公司开发的PlatformLS

3、F多集群系统,使多个异构的计算机能够通过局域网或广域网井享计算资源，并能够为用户提供对资源的透明访问。IBMLSF将多个集群连接在一起，一个集群往往是企业中的一个部门，每个集群中有一个主控机，此主控机负责收集该集群系统中的各台主机的负载信息，并且根据各主机的负载信息情况对作业进行调度。各个集群系统之间根据一定的策略进行资源共享。在每个主控机上定义了该集群能共享哪些集群系统中的资源。当用户发送了一个任务请求时，LSF系统能将此任务发送到对应的资源所在地，并根据调度策略选择负载较轻的机器对此任务进行处理。当多个用户请求同一个资源吋，根据用户的请求优先级来确保优先级高的用户的紧急任务能首先得

4、到满足。LSF系统支持多种操作系统平台。支持的平台有：SunSolaris、HP-UX、IBMAIX、以及RedhatLinux、WindowsNT、WindowsServer等。LSF的构架图如下所示。应用层服务平台一，总体架构集群由三部分组成：1，计算部分2，热存储部分3，冷存储部分计算部分由4个管理节点，160个普通计算节点，8个大内存节点组成。计算部分分成了两个模块，一个用于超算，一个用于大数据分析。超算模块，主节点njmasterOl，从节点160个普通计算节点外加njfat01-04、njfat08o作业调度系统LSF。大数据分析模块，主节点njserverOl,从节点nj

5、fat05-07。管理平台是spark。热存储部分，是高性能存储(ESS)，文件系统是gpfs，计算部分的所有节点均是gpfs集群的从节点，挂载了gpfs的文件系统。冷存储部分，是对象存储(object)，热存储通过四个10节点，将数据从ESS传入object。二，计算部分的应用层服务平台1超算调度系统LSFIBMLSF是一种强大的工作负载管理平台，提供基于各种策略的智能调度功能，利用分布式的基础架构资源来提高整体的系统性能。同时，IBMLSF支持跨集群工作，用户可以通过LSF,来实现集群间的负载均衡，扩展集群构架和资源，最大限度的提高集群的使用效率。在当下，许多企业都面临一个头疼的问

6、题，那就是如何管理各种各样的计算资源(如：CPU吋间、内存空间、网络带宽、应用程序等尤其是对于那些员工遍布全球的公司而言，如何充分利用有限的计算资源是非常关键的问题。由IBM公司开发的PlatformLSF多集群系统,使多个异构的计算机能够通过局域网或广域网井享计算资源，并能够为用户提供对资源的透明访问。IBMLSF将多个集群连接在一起，一个集群往往是企业中的一个部门，每个集群中有一个主控机，此主控机负责收集该集群系统中的各台主机的负载信息，并且根据各主机的负载信息情况对作业进行调度。各个集群系统之间根据一定的策略进行资源共享。在每个主控机上定义了该集群能共享哪些集群系统中的资源。当用

7、户发送了一个任务请求时，LSF系统能将此任务发送到对应的资源所在地，并根据调度策略选择负载较轻的机器对此任务进行处理。当多个用户请求同一个资源吋，根据用户的请求优先级来确保优先级高的用户的紧急任务能首先得到满足。LSF系统支持多种操作系统平台。支持的平台有：SunSolaris、HP-UX、IBMAIX、以及RedhatLinux、WindowsNT、WindowsServer等。LSF的构架图如下所示。图一.LSF架构和作业处理流程6.Sen