lustre集群文件系统实例分析

《lustre集群文件系统实例分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Lustre集群文件系统实例分析随着计算机技术的发展,集群系统的应用越来越广泛。在各种高性能计算机解决方案中，基于linux的高性能科学计算集群是比较流行的低成本方案。本文介绍了Linux高性能集群及集群文件系统的相关技术，并通过实例展现搭建集群文件系统的过程。关键词：Linux高性能集群Lustre1.引言　　如今，在各种高性能计算机解决方案中，基于linux的高性能集群是比较流行的低成本方案。本文在介绍基于linux的高性能集群核心技术的基础上，详细的讲述了Lustre集群文件系统的搭建过程，为搭建高性能集群打下基础。　　2.Linux高性能集群及

2、集群文件系统　　Linux高性能集群是基于Linux的PC服务器集群。随着Linux操作系统的不断成熟，PVM、MPI消息传递机制，集群文件系统，高性能X络等各项集群技术的不断完善，使得Linux集群成为当今最流行的高性能计算机解决方案之一。　　集群文件系统技术，主要应用于高性能集群等集群级应用，是建立高性能集群的基础。　　3.Lustre集群文件系统　　Lustre集群文件系统就是一种开放源代码的集群文件系统，Lustre名字由Linux和Clusters演化而来，其最大可支持10,000个节点的集群、PB级的存储量、100GB/S的传输速度，同时具

3、有完善的安全性和可管理性。Lustre使用基于对象的设备管理，来替代以往的磁盘块管理方法。　　　　对象存储系统的核心是将数据通路和控制通路分离，基于对象存储设备来构建系统，其通常有以下部分组成：3.1对象　　对象是系统中数据存储的基本单位，一个对象实际上就是文件数据和一组属性的组合。在对象存储系统中，对象通过与存储系统通信维护自己的属性，所有对象都有一个对象标识，通过对象标识命令访问该对象。3.2对象存储设备　　对象存储设备（OSD）具有一定的智能，它有自己的CPU、内存和磁盘系统。OSD提供三个主要功能：（1）数据存储。OSD管理对象数据，并将它们放

4、置在标准的磁盘系统上，OSD不提供块接口访问方式，Client请求数据时用对象ID、偏移进行数据定位。（2）智能分布。OSD用其自身的CPU和内存优化数据分布，并支持数据预取，从而优化磁盘性能。（3）对象元数据的管理。对象存储架构将系统中主要的元数据管理工作交由OSD来完成，降低Client端的开销。3.3元数据服务器　　元数据服务器（MDS）控制Client与OSD对象的交互，主要提供以下功能：（1）对象存储访问。MDS构造、管理每个文件的分布视图，允许Client访问对象。（2）文件和目录访问管理。MDS在存储系统上构建一个文件结构，包括限额控制、

5、目录和文件的创建和删除、访问控制等属性。（3）ClientCache一致性。为了提高Client性能，系统设计时支持Client端Cache。通过Cache一致性机制防止Cache不一致引发的问题。　　Lustre文件系统就是基于上述的结构划分为三个组成部分：客户端(client)、存储服务器(OST)和元数据服务器(MDS)。　　4.Lustre文件系统组建实例分析4.1安装Lustre这里选用的是Lustre版本1.8.4，使用RPM安装包进行安装。首先从X上下载：kernel-lustre.rpmlustre-modules.rpmlustre-

6、client-modules.rpmlustre.rpmLustrelustre-ldiskfs.rpme2fsprogs.rpm4.2安装mds和oss端：在MDS及OSS节点上分别运行rpm命令：rpm-ivhkernel-lustre.rpmlustre-modules-lustre.rpmlustre-lustre.rpmlustre-ldiskfs-lustre.rpmrpm–Uvhe2fsprogs.rpm安装完成后，修改grub为修改过的内核启动项，然后重启机器。安装client端：在各CLIENT节点上分别运行rpm命令：rpmlust

7、re-client-modules-lustre.rpmlustre-client-lustre.rpm安装完成后，重启机器。4.3磁盘设置。在MDS上创建逻辑卷用以存放MDS信息：pvcreate/dev/sdavgcreatevgmds/dev/sdalvcreate-nmdsvolvgmds在各OSS上分别创建逻辑卷：pvcreate/dev/sdavgcreatevgoss/dev/sdalvcreate-nossvolvgoss4.4配置MDS在MDS上执行modprobelustremodprobeldiskfs将lustre模块加载进入内

8、核。modprobel'kfs.lustre--fsname=testfs–mdt--refo