大文件读取解决方案

《大文件读取解决方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、长春贝福科技开发有限公司基于LustreI/O大文件存储解决方案Lustre文件系统长春贝福科技开发有限公司一、什么是Lustre文件系统Lustre是HP，Intel，ClusterFileSystem公司联合美国能源部开发的Linux集群并行文件系统。该系统目前推出1.0的发布版本，是第一个基于对象存储设备的，开源的并行文件系统。其结构如图所示，它由客户端，两个MDS，OSD设备池通过高速的以太网或QWSNet所构成。目前可以支持1000个客户端节点的I/O请求，两个MDS采用共享存储设备的Active

2、－Standby方式的容错机制，存储设备跟普通的，基于块的IDE存储设备不同，是基于对象的智能存储设备。Lustre采用分布式的锁管理机制来实现并发控制，元数据和文件数据的通讯链路分开管理。Lustre系统结构图长春贝福科技开发有限公司二、Lustre应用领域Lustre是面向集群的存储架构，它是基于Linux平台的开源集群（并行）文件系统，提供与POSIX兼容的文件系统接口。Lustre两个最大特征是高扩展性和高性能，能够支持数万客户端系统、PB级存储容量、数百GB的聚合I/O吞吐量。Lustre是Sca

3、le-Out存储架构，借助强大的横向扩展能力，通过增加服务器即可方便扩展系统总存储容量和性能。Lustre的集群和并行架构，非常适合众多客户端并发进行大文件读写的场合，但目前对于小文件应用非常不适用，尤其是海量小文件应用LOSF（LotsOfSmallFiles）。Lustre广泛应用于各种环境，目前部署最多的为高性能计算HPC，世界超级计算机TOP10中的70%，TOP30中的50%，TOP100中的40%均部署了Lustre。另外，Lustre在石油、天然气、制造、富媒体、金融等行业领域也被大量部署应用

4、。 三、LustreStripeLustre采用对象存储技术，将大文件分片并以类似RAID0的方式分散存储在多个OST上，一个文件对应多个OST上的对象。Lustre系统中，每个文件对应MDT上的一个元数据文件，inode以扩展属性记录了数据分片布局信息，包括stripe_count（对象数）,stripe_size（分片大小）,stripe_offset（起始OST）以及每个OST对象信息。当客户数据端访问文件时，首先从MDS请求文件元数据并获得分片布局信息（stripelayout），然后直接与多个OS

5、T同时交互进行并发读写。Lustre这种数据分片策略，提高了多用户访问的并发度和聚合I/O带宽，这是Lustre获得高性能的主要因素。再者，Stripe还能够使得Lustre可以存储超大文件，突破单一OST对文件大小的限制。当然，数据分片策略同时也会带来负面影响，比如增加系统负载和数据风险。 长春贝福科技开发有限公司Lustre的OST数量可以达到数千，但是出于复杂性、性能、实际存储需求等考虑，目前设计实现中将单个文件对象数限制为160个。对于EXT4后端文件系统，单个文件最大可达2TB，因此Lustre单

6、个文件最大可以达到320TB。那么，Lustre如何在可用OST集合中选择合适的OST呢？目前有两种选择算法，即Round-Robin和随机加权算法，这两种算法调度的依据是，任意两个OST剩余存储容量相差是否超过20%的阈值。一般在系统使用之初，直接使用Round-Robin算法以顺序轮转方式选择OST，这种算法非常高效。随着文件数据量的增加，一旦达到20%的阈值，Lustre将启用随机加权算法选择OST。Lustre维护着一个剩余空间的优先列表，采用随机算法在此列表中选择OST，这种算法会产生开销并影响性

7、能。如果任意两个OST剩余存储容量相差重新降到20%阈值之内，则重新启用Round-Robin算法选择OST。Lustre在创建文件时就按照分片模式并采用OST选择算法，预先创建好文件所需的OST对象。分片模式可以使用lfssetstripe进行设置，或者由系统自动选择缺省模式，文件目录会自动继承父目录的分片模式，但可以进行修改。数据写入后，文件分片模式就不能修改，新加入的OST只会参与新创建的文件目录OST选择调度。Lustre目前还没有实现OST存储空间的自动均衡，需要手工进行数据迁移复制达到均衡的效果

8、。 Lustre缺省情况下，stripe_count=1,stripe_size=1MB,stripe_offset=-1，即每个文件仅包含一个OST对象，分片大小为1MB，起始OST由Lustre自动选择。实际上这种分片模式就是不对文件进行分片存储，显然不能满足许多应用的存储需求，实际应用时需要在分析数据特点、网络环境、访问行为的基础上进行适当配置。分片不是越多越好，在满足存储需求的前提下，应该使得OST对象数