基于地震资料处理的lustre并行存储系统的研究构建

《基于地震资料处理的lustre并行存储系统的研究构建》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于地震资料处理的lustre并行存储系统的研究构建【摘要】随着我院GPU集群的引进，迫切需要构建一个“优异的存储系统”，两者共同建设一个“高速运算、高速通讯、高速存储”的地震勘探系统，解决长期困扰我院的勘探难题。本文通过Lustre技术研究，构建一个Lustre并行存储系统，测试结果及生产应用验证了该系统与GPU集群是一个完美的匹配，叠前时间偏移等耗时的技术纳入常规化，进行规模化生产，解决了我院油气勘探复杂构造成像难度大的的勘探难题。中国1/vie　　【关键字】Lustre；OSD；MDT　　1.引言　　我院勘探任务主要在老区，老区勘探程度高，勘探面临的对象复杂，且新

2、区勘探开发难度大，勘探现状需要采用多项高端地球物理成像技术，包括Kirchhoff叠前时间偏移、逆时偏移（RTM）等，有助于解决油气勘探复杂构造成像难度大的问题，运算时间长却是长期困扰我院的难题，为此，我院引进了GPU集群，将叠前时间偏移等耗时的技术纳入常规化，进行规模化生产。　　GPU集群具有高速运算、高速通讯和高度稳定的特征，要求高速存储与之保持同步，建设一个“高速运算、高速通讯、高速存�Α钡卣鹂碧较低常�才能解决我院勘探难题。本文采取开源的高性能分布式并行文件系统Lustre和低延迟、高带宽的InfiniBand网络实现“高速存储”，Lustre确保存储系统的内部

3、数据的高速存取，InfiniBand确保存储系统和GPU集群的高速数据通讯。　　2.技术研究　　Lustre是应用广泛的开源性的集群分布式并行文件系统，采用了数据和元数据分离技术、智能存储技术和高速区域网技术，由OSD、MDD和client组成，OSD负责实际对象数据的存储及智能管理，多个OSD以并行的方式被直接的访问，增加更多的OSD会增加存储的容量，同时线性增加数据吞吐量。MDD管理整个系统的命名空间、控制client与OSD上对象的交互，client和OSD直接进行实际对象数据的交互。client在需要访问文件系统的文件数据时，先访问MDS，获取文件相关的元数据信

4、息，然后就直接和相关的OSD通信，取得文件的实际数据。通过子网L实现文件系统的内部通讯。MDS、OSS和Client通过InfiniBand高速网相互通讯，连接成一个“高速存储”的Lustre并行存储系统。　　2.1OSD　　OSD是一种网络存储磁盘设备，它有自己的磁盘、处理器、RAM存储器和网络接口。OSD用其自身的存储器和处理器优化磁盘的数据分布并从磁盘预取数据。　　OSD由OSS和OST构成，OSS提供了文件I/O服务和用来处理一个或多个当地OST的网络请求。每个OSS节点可以有多个OST。OST负责实际数据的存储，处理所有客户端和物理存储之间的交互。OST和实际

5、的物理存储设备之间通过设备驱动方式来实现交互。通过驱动程式的作用，Lustre能继承新的物理存储技术及文件系统，实现对物理存储设备的扩展。　　2.2MDD　　MDD存储了文件系统的基本信息，负责管理整个系统的命名空间，维护整个文件系统的目录结构、用户权限，并负责维护文件系统数据的一致性。　　MDD由MDS和MDT构成。Client通过MDS读取保存到MDT上的元数据，得到文件信息，从OSS中得到数据。通过MDS的文件和目录访问管理，Lustre能够控制Client对文件系统中文件和目录的创建、删除、修改，控制Client与OSD上对象的交互。　　2.3Client　　C

6、lient通常是典型的集群计算节点，它们运行Lustre客户端软件并通过以太网或InfiniBand与Lustre服务器进行通信。客户端软件由Lustre服务器和运行在计算节点上的应用程序之间的接口组成。为了使计算节点能够直接从OSD读、写对象，必须配置一个文件系统。　　2.4Lustre　　Lustre文件系统为其上层的应用提供一个透明的POSIX接口，它允许应用去执行标准的文件系统操作。文件系统在Client计算节点上为输入的数据提供Caching以补充OSD中的Cache。文件系统在每个对象的基础上处理跨越多个OSD的对象的条带。由于对象以并行的方式读写，条带的宽

7、度将直接与对象的带宽相关。　　2.5Netdt元数据存储盘。gfs02-gfs06（OSD）等5个存储节点都有两个磁盘，sda为操作系统盘，sdb分出三个8T分区为OST数据存储盘。在gpu00-gpu09等GPU集群节点上实现存储系统的Client，安装Lustre文件系统客户端程序，并挂载Lustre文件系统。OSD、MDD、Client都需要经过内核编译、驱动安装与软件安装配置等实现并行存储系统。