存储系统重构优化技术探究

《存储系统重构优化技术探究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、存储系统重构优化技术探究摘要：目前海量存储系统规模逐渐增长，存储节点失效是普遍现象。因此存储系统的重构优化问题越来越受到研究人员的关注。综述了存储系统从数据布局和数据调度两个层面的重构技术研究进展和现状，同时对各种典型重构技术从原理、实现机制等方面进行了分析和归纳，并对比分析和总结了各种重构技术的适应场景。结合海量存储系统负载特征的复杂性和应用环境的复杂性等特点，指出了存储系统重构技术的未来研究方向。关键词：纠删编码存储系统；重构技术；存储可靠性；数据可用性中图分类号：TP311文献标识码：A文章编号:2095-1302(2017)05-0-040引言当今社会正处于数据爆炸式增长的时代，网

2、络技术提供商Cisco预测从2013到2018年全球每个月的网络数据量将以21%的年增长速度上升，每月的网络数据量将从2013年的51EB增长到2018年的132EB，数据量几乎增长了3倍，并且到2016年,每个月的网络数据量已达91EB[1]0企业数据中心面临海量数据存储的需求，因此数据中心需要廉价、可靠、高性能和高能效的数据存储系统。现代存储系统采用一定的容错策略，通过重构技术确保存储的可靠性和数据可用性。一方面当一定存储节点失效时，通过重构技术可以恢复失效节点以确保存储可靠，另一方面考虑网络I/O负载的复杂性特征，为及时响应用户的数据访问请求，通过重构技术以确保数据的高效可用。重构技

3、术是根据存储系统容错数据布局方案，采用一定I/O优化调度策略，以减少I/O开销与降低CPU计算开销为手段，实现可靠并快速获取用户数据为目的的优化过程。1纠删编码存储系统重构优化技术图1所示为典型纠删编码存储系统的重构优化过程。在纠删编码存储系统中，将k个保存原始数据的磁盘经过编码计算操作，得到m个冗余磁盘；当存储系统中有不超过m个磁盘失效时，根据纠删编码的编码/解码计算规则，通过存活的数据磁盘和冗余磁盘恢复出失效磁盘，其存储效率为k/(k+mL在纠删编码的设计中，重构性能是其最重要的设计目标之一，在真实存储环境下，重构性能通常由恢复失效磁盘所用的重构时间来衡量，重构时间越短则重构性能越好，

4、反之亦然。在理论分析中，由于重构过程中的计算开销比I/O开销快多个数量级，因而在理论比较中其计算开销可以忽略不计，因此校验阵列编码的重构性能可以转化成以存取数据块的个数来衡量重构性能。目前校验阵列编码的重构优化技术在学术界和工业界引起了广泛关注，主要分为以下几种研究趋势。1.1最优重构链长策略针对MDS编码随着存储系统规模的扩大，其重构性能逐渐降低的问题，研究者提出了许多新的NomMDS编码以提升存储系统的重构性能，如WEAVER编码［2］,Hover编码⑶Pyramid编码［4］,SteppedCombination编码［5］,Code-M编码⑹和V2・Code编码［7］。Non-MDS

5、编码相对于MDS编码在校验链的构建机制上使用了更多的校验块，减少了生成一个校验块所需的数据块个数，因此在相同存储规模的系统中，Non-MDS编码缩短了校验链的长度。在重构过程中，Non-MDS编码获得了更短的重构链长，在重构一个失效块的情况下需要读取更少的数据块，提升重构性能；此外，Non-MDS编码的重构链的长度不随存储系统规模的增长而变化，即重构性能与RAID规模大小无关，然而对于MDS编码其重构链的长度随着存储系统规模的增长而变长，因此其重构性能会逐渐降低。故设计新型高容错能力的Non-MDS编码成为提高重构性能的一种研究趋势。1.2最优重构数据量策略对于现有的容多错阵列编码中，单磁

6、盘失效恢复是最常见的问题［8］，最初的重构策略便采用传统的恢复方式［9,10］,即所有失效块的重构只考虑读取一种校验链的方式，该方式需要读取所有数据块用于重构，因而增加了存取I/O的复杂度；然而容多错的编码通常包含多种校验链（如行校验链、斜校验链和反斜校验链），每一种校验链之间都存在共用块的情况，因此最大化共用块的个数将会减少读取重构所需的数据量，从而达到提升重构性能的目的，这种重构方式称为混合校验链重建方式。如RDOR算法针对RDP编码的单磁盘失效提出了寻找最少重建数据块的快速重建方案[笛]；王等人基于最少重构数据量的思路实现了EVENODD编码单盘快速重构[12];针对任意多容错纠删编

7、码的单盘恢复问题,Khan等人提出了一种枚举恢复算法，即寻找最小重建数据*[13];朱等人提出了一种替换恢复算法，加速了最少重构数据量的寻找过程，寻找到了次优的最少重构数据量[14]o1.3最优重构带宽策略在分布式存储系统中其重构过程中减少网络I/O开销是主要的优化目标，即最优重构带宽策略，以提供良好的网络存储性能。再生编码口5]基于最优重构带宽被提出，例如ExactRegeneratingCodes提岀精确恢复失效数据