构建高可用、高性能的 gpfs 集群

《构建高可用、高性能的 gpfs 集群》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、构建高可用、高性能的GPFS集群　　GPFS（GeneralParallelFileSystem）并行文件系统集群　　GPFS系统介绍　　GPFS(GeneralParallelFileSystem)是IBM公司第一个共享文件系统，起源于IBMSP系统上使用的虚拟共享磁盘技术(VSD)。作为这项技术的核心，GPFS是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。GPFS允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。它提供了许多标准的UNIX文件系统接口，允许应

2、用不需修改或者重新编辑就可以在其上运行。GPFS也支持UNIX文件系统的工具，即：用户可以像使用普通文件系统一样使用基于GPFS的文件系统，唯一不同的在于管理GPFS文件系统的命令。GPFS提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点（这些节点属于同一个节点组）上的并行应用同时访问同一个文件或者不同的文件。　　GPFS基本结构　　GPFS文件系统基本上由三层架构组成：磁盘，网络共享磁盘（NSD），GPFS文件设备，如下图所示。　　图1GPFS基本结构　　　　磁盘　　GPFS文件系统最底层的是物理磁盘设备。原则上可以采用系统上任何块设备，包括磁盘，磁盘分区，逻辑

3、卷。从物理连接上来看，GPFS支持使用所有方式连接的磁盘。包括本地IDE磁盘，本地SCSI磁盘，光纤SAN磁盘，iSCSI磁盘，等等。　　网络共享磁盘（NSD）　　NSD是由磁盘映射出来的虚拟设备，NSD与磁盘是一一对应的关系。NSD被标记了不同属性来区分其用途，我们可以将磁盘标记为4种用途：　　DescOnly：只存储GPFS文件系统描述信息的磁盘。　　DataOnly：只存储文件系统中的数据信息。　　Metadataonly:只存储文件系统中的目录结构inode信息。　　Metaanddata:存储所有信息（默认）。　　GPFS文件设备　　GPFS设备是一个可被系统挂载的文件

4、设备，由NSD创建而成，可以并行的同时挂载在多个节点上。　　GPFS系统优势　　高性能　　GPFS允许在同一节点内的多进程或者应用使用标准文件系统调用，同时访问（并发，读写）同一个文件。通过将节点内读写操作分布到多个磁盘上，大大增加了文件系统的带宽，通过整个系统的负载均衡避免了某个磁盘过大的读写。　　跨平台设计　　GPFS支持在一个集群内加入异构的平台。　　支持异构的硬件环境：Systemp,Systemx。　　支持异构的操作系统：AIX,Linux。　　数据一致性　　GPFS通过一套复杂的信令管理机制提供数据一致性。通过这套机制允许任意节点通过各自独立的路径到达同一个文件。即使

5、节点无法正常工作，GPFS也可以找到其它的路径。　　数据安全性　　GPFS是一种日志文件系统，为不同节点建立各自独立的日志。日志中记录metadata的分布，一旦节点发生故障后，可以保证快速恢复数据。　　GPFS的fail-over功能通过规划，将数据分布到不同failuregroup内达到高可用性，减少单点故障的影响。为了保证数据可用性，GPFS在多个failuregroup内为每个数据实例做备份，即使创建文件系统时没有要求复制，GPFS也会自动在不同的failuregroup内复制恢复日志。　　系统可扩展性　　通过GPFS，系统资源可以动态调整，可以在文件系统挂载情况下添加或

6、者删除硬盘。系统处于相对空闲时，用户可以在已配置的硬盘上重新均衡文件系统以提高吞吐量。可以在不重新启动GPFS服务情况下添加新节点。　　管理简单　　GPFS自动在各个节点间同步配置文件和文件系统信息，而且在同一个节点内，对GPFS的管理可以在任一个节点上进行。　　GPFS可用性机制　　GPFS的数据完整性一方面是由以上提到的数据安全机制来保证，另外也通过一套可用性判断机制来完全保证数据完整性与系统安全。GPFS提供三套不同的quorum机制来判断系统当前的状态，其中FileDescriptorQuorum是系统内置的，不能做配置，另外两种nodequorum和tiebreaker

7、quorum方式只能二者选其一，使用那种方式要基于我们的系统环境与可靠性分析。　　FilesystemDescriptorQuorum，FilesystemDescriptor顾名思义即描述文件系统信息的数据。我们在几个不同的failure-group的磁盘上创建GPFS文件系统时，会把文件系统的配置信息（简写为FD）的拷贝写到多个磁盘上，以实现冗余备份。FDquorum的机制即通过判断含有FD磁盘的在线情况来判断当前系统是否正常，当超过半数的含有FD的磁盘掉线时，就判断为系统故