高性能计算机分布式内存文件系统的网络性能优化方法

《高性能计算机分布式内存文件系统的网络性能优化方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、高性能计算机分布式内存文件系统的网络性能优化方法高性能计算应用对计算节点内存的不均衡需求导致节点之间内存利用率差异较大，为充分利用高性能计算机的内存资源，产生了基于计算节点内存构建分布式文件系统的需求。此时，基于Socket的X络通信成为制约系统性能的主要瓶颈。本文提出一种基于RDMA的数据传输机制RBP(RDMABufferPool)。通过灵活配置和使用RBP对MooseFS进行改进，并依托TH-1A系统上进行测试。结果表明，改进后系统客户端的顺序读写速度和服务端在顺序读写时的聚合带宽均有明显提高，单客户

2、端顺序读、写速度最大可达原系统的2.0、2.6倍，单服务端在顺序读、写时的聚合带宽最大可达原系统的2.0、2.4倍。高性能计算应用对计算节点内存的不均衡需求导致计算节点之间内存利用率差异较大，为充分利用高性能计算机的内存资源，为缓解这一状况，产生了基于计算节点空闲内存构建分布式内存文件系统的需求。当存储介质从磁盘变为内存，系统服务端I/O性能大幅提高，基于Socket的X络通信成为制约系统性能的主要瓶颈。针对这一问题，本文提出一种基于RDMA的数据传输机制RBP，通过在读、写不同场景下灵活配置和使用RBP，

3、大幅提高了系统的X络传输性能。1相关工作1.1MooseFS近年来，大数据、云计算、高性能计算蓬勃发展，分布式文件系统取得长足进步。其中，GFS(GoogleFileSystem)提出的以大量不可靠的服务器为基础构建高可靠的存储系统的设计思想[1]，对分布式文件系统发展具有重要意义。GFS并不开源，因此选择设计接近的开源系统MooseFS[2]，其具备支持POSIX语义、易扩展、部署维护简便等特点，包括四个部件：元数据管理服务器Master，负责提供维护元数据，提供元数据服务，管理数据存储服务器等。元数据日

4、志服务器Metalogger，负责备份Master的变化日志文件。数据存储服务器Chunkserver，在Master的调度下，为客户端提供数据传输和存储服务。客户端Client，通过FUSE[3](FilesysteminUserspace)挂载到MooseFS系统。1.2RDMARDMA是一种高带宽、低延迟的X络传输控制技术，通过将可靠传输协议固化于X卡，支持绕过内核的数据零拷贝。当前，大多数高性能计算机的计算节点之间采用支持RDMA的X络互连。以TH-1A系统为例，其采用支持RDMA的自主设计的高速互

5、联X络[4]。通过PingPong方式测试，计算节点之间的最小单边延迟低至1.57us。通过流水传输方式测试，单向数据传输峰值带宽高达6.34GB/s。1.3相关研究分布式存储系统的分布式特性决定了其对通信是敏感的，因而往往要求通信能够提供更高的带宽和更低的延迟。鉴于RDMA通信在带宽和延迟方面的良好特性，研究人员在如何利用RDMA通信机制改进分布式存储系统X络性能方面做了很多工作。如N.S.Islam、M.A进行通信[5]。ChristopherMitchell、YifengGeng等人设计了一个名为Pi

6、laf的分布式内存键值对存储，根据键值对存储以读请求为主的特点，实现了一个基于RDMA的get操作，用来处理只读的服务请求，可以获得显著的性能收益[6]。显然，在利用RDMA改进分布式存储系统X络性能时，需要考虑分布式系统的特点、部署方式、额外开销等诸多因素。2MooseFS基于Socket的性能瓶颈MooseFS在处理一个读/写请求过程中，有2个环节涉及实际的数据操作：一是Chunkserver对本地磁盘进行I/O操作，二是Client与Chunkserver之间通过Socket传输数据。当MooseFS

7、部署在磁盘时，Chunkserver中的数据块以EXT4等本地文件系统的文件形式存储在磁盘中;当把MooseFS部署在内存时，则可以借助tmpfs等内存文件系统实现。为对比基于磁盘和内存两种形式，服务端I/O性能和系统I/O性能方面的差异，以写为例进行测试。Chunkserver使用TH-1A部署的Lustre系统作为本地文件系统。实验结果表明，相比基于磁盘的存储形式，基于内存存储可以使Chunkserver的写性能提高数倍，然而对系统整体写性能的提升非常有限。此时系统的性能受到基于Socket的数据传输性

8、能的制约。3优化方法3.1基于RDMA的高速缓冲池RBPRBP的原理是预先注册一块或多块支持RDMA操作的内存区，按照系统需求将这片区域划分成不同规格的缓冲块RBB(RDMABufferBlock)。再根据不同用途，将同样规格的RBB组织成不同的缓冲池RBP，并配合一套专用API，以RBB为单位提供高性能的数据传输服务。(1)RBP的结构设计RBB由描述区、请求区和数据区三部分组成。描述区负责提供RBB进行RDM