欢迎来到天天文库
浏览记录
ID:23783978
大小:58.50 KB
页数:6页
时间:2018-11-10
《lustre集群文件系统实例分析》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库。
1、Lustre集群文件系统实例分析随着计算机技术的发展,集群系统的应用越来越广泛。在各种高性能计算机解决方案中,基于linux的高性能科学计算集群是比较流行的低成本方案。本文介绍了Linux高性能集群及集群文件系统的相关技术,并通过实例展现搭建集群文件系统的过程。关键词:Linux高性能集群Lustre1.引言 如今,在各种高性能计算机解决方案中,基于linux的高性能集群是比较流行的低成本方案。本文在介绍基于linux的高性能集群核心技术的基础上,详细的讲述了Lustre集群文件系统的搭建过程,为搭建高性能集群打下基础。 2.Linux高性能集群及
2、集群文件系统 Linux高性能集群是基于Linux的PC服务器集群。随着Linux操作系统的不断成熟,PVM、MPI消息传递机制,集群文件系统,高性能X络等各项集群技术的不断完善,使得Linux集群成为当今最流行的高性能计算机解决方案之一。 集群文件系统技术,主要应用于高性能集群等集群级应用,是建立高性能集群的基础。 3.Lustre集群文件系统 Lustre集群文件系统就是一种开放源代码的集群文件系统,Lustre名字由Linux和Clusters演化而来,其最大可支持10,000个节点的集群、PB级的存储量、100GB/S的传输速度,同时具
3、有完善的安全性和可管理性。Lustre使用基于对象的设备管理,来替代以往的磁盘块管理方法。 对象存储系统的核心是将数据通路和控制通路分离,基于对象存储设备来构建系统,其通常有以下部分组成:3.1对象 对象是系统中数据存储的基本单位,一个对象实际上就是文件数据和一组属性的组合。在对象存储系统中,对象通过与存储系统通信维护自己的属性,所有对象都有一个对象标识,通过对象标识命令访问该对象。3.2对象存储设备 对象存储设备(OSD)具有一定的智能,它有自己的CPU、内存和磁盘系统。OSD提供三个主要功能:(1)数据存储。OSD管理对象数据,并将它们放
4、置在标准的磁盘系统上,OSD不提供块接口访问方式,Client请求数据时用对象ID、偏移进行数据定位。(2)智能分布。OSD用其自身的CPU和内存优化数据分布,并支持数据预取,从而优化磁盘性能。(3)对象元数据的管理。对象存储架构将系统中主要的元数据管理工作交由OSD来完成,降低Client端的开销。3.3元数据服务器 元数据服务器(MDS)控制Client与OSD对象的交互,主要提供以下功能:(1)对象存储访问。MDS构造、管理每个文件的分布视图,允许Client访问对象。(2)文件和目录访问管理。MDS在存储系统上构建一个文件结构,包括限额控制、
5、目录和文件的创建和删除、访问控制等属性。(3)ClientCache一致性。为了提高Client性能,系统设计时支持Client端Cache。通过Cache一致性机制防止Cache不一致引发的问题。 Lustre文件系统就是基于上述的结构划分为三个组成部分:客户端(client)、存储服务器(OST)和元数据服务器(MDS)。 4.Lustre文件系统组建实例分析4.1安装Lustre这里选用的是Lustre版本1.8.4,使用RPM安装包进行安装。首先从X上下载:kernel-lustre.rpmlustre-modules.rpmlustre-
6、client-modules.rpmlustre.rpmLustrelustre-ldiskfs.rpme2fsprogs.rpm4.2安装mds和oss端:在MDS及OSS节点上分别运行rpm命令:rpm-ivhkernel-lustre.rpmlustre-modules-lustre.rpmlustre-lustre.rpmlustre-ldiskfs-lustre.rpmrpm–Uvhe2fsprogs.rpm安装完成后,修改grub为修改过的内核启动项,然后重启机器。安装client端:在各CLIENT节点上分别运行rpm命令:rpmlust
7、re-client-modules-lustre.rpmlustre-client-lustre.rpm安装完成后,重启机器。4.3磁盘设置。在MDS上创建逻辑卷用以存放MDS信息:pvcreate/dev/sdavgcreatevgmds/dev/sdalvcreate-nmdsvolvgmds在各OSS上分别创建逻辑卷:pvcreate/dev/sdavgcreatevgoss/dev/sdalvcreate-nossvolvgoss4.4配置MDS在MDS上执行modprobelustremodprobeldiskfs将lustre模块加载进入内
8、核。modprobel'kfs.lustre--fsname=testfs–mdt--refo
此文档下载收益归作者所有