可重构堆叠存储系统的设计及实现研究

《可重构堆叠存储系统的设计及实现研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、可重构堆叠存储系统的设计及实现研究第一章绪论1.1选题背景及意义随着互联网的高速发展和物联网的兴起，数据监控、电子交易、多媒体应用和数字生活蓬勃发展，个人和企业每日产生的数据量呈指数增长。针对海量数据的存储和应用，越来越多的科研机构和企业投入到开发高性能分布式存储行业的阵营中。大数据对经济发展、国家安全和资源勘探等领域起到了至关重要的作用，这就要求设计并研发具有高可靠性的分布式存储系统。根据相关统计，最近每两年产生的数据量是过去数据的总和，达到了太字节为单位的计量水平，而且总数据量依摩尔定律持续增长。大体量的数据给人们的生活带来了方便，大数据挖掘应用正日益展开，而且越来

2、越受到国家、社会、企业和个人的重视。但数据的增长也给数据的存储和计算带来了巨大的挑战[1]，数据体量的庞大和应用相对狭小的矛盾日益突出，如何管理海量数据，从数据中找出有用的信息成为数据应用领域的巨大挑战。基于DAS模式的本地直连存储模式显然只适用于个人和企业的小体量数据应用，针对日益增长的海量数据的存储，各企业和相关科研机构开发出了许多基于网络存储的分布式文件系统。当前比较流行的分布式系统有具有里程碑意义的GFS分布式文件式系统[2]，在国际和国内被广泛研究和应用的Hadoop分布式文件系统，由SUN公司开发和维护的大规模集群文件系统Lustre，具有高效文件自动备份组

3、建的MogileFS开源文件系统等。这些分布式文件系统将数据存储在物理上分散的多个存储节点上，通过主控服务器对节点的资源进行统一管理和分配[3]，并向用户提供统一的文件系统接口，向客户端提供数据服务[4]。........1.2存储系统研究现状电子技术和网络技术的发展使得数据量成倍增长，这对数据存储系统和数据的管理提出了更高要求。国家对宽带增速提出了新的要求，带宽的增长使企业和个人对大数据的应用日益广泛，这就要求研究新的高性能存储管理系统。高性能存储系统需要软硬件相适应，随着软硬件协同设计概念的提出，新的设计方法和设计理念为发展高速稳定的存储系统提供了技术保障。硬件技术

4、的发展为结构设计提供良好的硬件基础，同时对软件设计提出了新的要求，软件结构与硬件结构相适应，并保证硬件发挥出其应有的性能是开发高性能存储系统的保障。目前单块磁盘容量已达TB级，这对于需要处理大量数据并且数据量日益增长的个人和企业来说远远不够，这就需要由多块磁盘组成具有冗余特性的RAID独立冗余磁盘阵列。目前主要有RAID0到RAID6等7种基本RAID阵列和由基本阵列组成的混合RAID阵列技术[2]。常用的RAID阵列有RAID0、RAID3、RAID5以及RAID0+5等几种磁盘冗余阵列。RAID0将多块磁盘并行连接到存储总线上，数据存取时把连续的数据分散到多个磁盘上

5、，系统的数据请求就可以被多个磁盘并行的执行，分割的数据被分配到对应的磁盘通道上并行的执行数据的传输[10]。RAID5是一种数据安全、存储速度和存储性能兼顾的解决方案，数据以块为单位分布到各个硬盘上，并对各磁盘上的数据做奇偶校验，存储时把数据和与其相对应的奇偶校验信息存储到磁盘上。奇偶校验信息和对应的数据分别存储于不同的磁盘上，当阵列中一个磁盘数据损坏时，利用其与未损坏的磁盘上的数据和相对应的奇偶校验信息恢复坏块的数据。而RAID50是RAID5和RAID0架构的结合，有两组RAID磁盘组成，每组要求最少3个磁盘且使用分布式结构为两组硬盘再组成RAID0，实现数据块的磁

6、盘存储。..........第二章可堆叠存储阵列整体架构2.1系统设计分析传统的刀片服务器可在单刀片模式下使用，也可通过刀片架连接系统内的其他所有刀片服务器构成集群模式[12]，组成服务器集群，提供高速的网络环境和共享资源，为用户群提供服务。内置负载均衡技术，经精密的均衡计算算法实现各刀片的均衡负载，提高服务器的稳定性和核心网络性能，极大的满足了高度密集计算环境对服务器高性能的要求。但刀片服务器在应用中存在机箱成本昂贵，对中小型企业莱索其前期投入成本过大，而且频繁更新的技术额外增加使用成本，而且所有刀片服务器存在宕机和故障的可能性。多盘位自主可堆叠磁盘阵列存储和校验信息

7、向客户端提供实时、高效、精确的数据服务，利用FPGA并行处理、访问灵活、负载均衡、数据安全、支持多协议和扩展能力强等诸多方面的优势与特点，实现系统CPU板卡上的两路10G光纤接口数据通过PCIE总线向SATA磁盘阵列的高效、并行的存储与访问。中小企业和个人不会因数据量相对狭小而降低对数据安全性和吞吐速率的要求，因而存在着数据应用和成本考虑的矛盾。开源Linux功能强大且其稳定性较高，任何人都可以在GPL框架内使用和修改Linux操作系统，使之符合自己的特定功能需求,FPGA具有相对低廉的价格和强大的逻辑处理、并行传输的能力。利用FPGA和