分布式存储系统中基于纠删码的容错技术研究

《分布式存储系统中基于纠删码的容错技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中国科学技术大学博士学位论分布式存储系统中基于纠删码的容错技术研究作者姓名：朱云锋学科专业：计算机软件与理论导师姓名：许胤龙教授完成时间：二O一四年五月一日乙以“矽V以11力畸∽文fIIIIIlUlIIIIIIIIIlY2589749UniversityofScienceandTechnologyofChinanversityotcienceandechnolo’．qvhInaAdissertationfordoctorSdegreeStudyonFault—ToleranceTechnologies

2、forEreCodeFrasudesinDistributedStorageSystemsAuthor’SName：YunfengZhuSpeciality：ComputerSoftwareandTheorySupervisor：Prof．YinlongXuFinishedtime：Mayl吼，2014中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写过的研究成果。与我一同工作的同志

3、对本研究所做的贡献均己在论文中作了明确的说明。作者签名：蜱签字日期：上生幽生垃中国科学技术大学学位论文授权使用声明作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入《中国学位论文全文数据库》等有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。保密的学位论文在解密后也遵守此规定。J回公开

4、口保密(——年)作者签名：签字日期：监埠一7．o14．o()．02导师签名：埠血么签字日期：立砸二0—厶卫摘要在当前大型分布式存储系统中，随着存储规模越来越大以及廉价但可靠性差的存储设备的广泛部署，磁盘错误变得益发频繁，容错能力成为了现代存储系统的重要指标。通常，存储系统通过引入冗余数据来保障数据可靠性。冗余数据可以通过复制或者纠删码方式产生。其中，纠删码容错存储技术因其在相同可靠性条件下可最小化冗余存储开销，被广泛地在大型分布式存储系统中部署。因此，研究分布式存储系统中基于纠删码的容错存储技术对海量

5、数据背景下的数据存储有着重要意义。本文主要研究了基于纠删码的分布式存储系统中，发生节点故障时的数据修复问题，主要研究内容与贡献如下：(1)单节点故障修复问题研究当前很多存储系统具有可容忍多个节点同时发生故障的能力，但实际中发生单节点故障的频率要远远高于多节点并发故障发生的频率。当存储系统发生节点故障时，系统需要及时重构出故障数据以维持系统可靠性及服务性能。而修复操作从剩余节点读取的数据量直接影响着修复性能。本文研究了纠删码的单节点故障修复问题，通过引入由单校验块以及编码产生该校验块的数据块组成的校验集

6、的概念，构建了基于校验集组的纠删码单节点故障修复分析模型，继而设计了一种替换修复算法ReplaceRecovery。该算法利用启发式搜索策略，在纠删码各校验节点的校验集中寻找最小化修复过程数据读取量的校验集组。理论分析表明，ReplaceRecovery为各类纠删码的单节点故障修复提供了数据读取量最优／近似最优的修复方案。通过在实际分布式存储系统中部署该替换修复算法，并开展相对传统修复算法的广泛对比实验，本文证实了ReplaceRecovery可明显减少纠删码的单节点故障修复时间。(2)异构存储环境修

7、复问题研究由于设备更新换代以及数据访问热点分布不均等原因，实际部署的分布式存储系统往往面临着异构的存储环境，存储节点的计算能力各不相同，链路的传输带宽也不尽相同。因此，现有最小化修复过程数据读取量的修复算法可能无法在异构存储环境中提供有效修复性能。本文通过引入衡量异构存储环境中各节点单位数据下载成本的指标，为RAID．6码异构修复问题建立了旨在最小化修复代价的优化模型。基于该模型，本文给出相应缩减策略大大缩小异构修复模型的搜索空间，继而为RAID．6码设计了一种基于成本的单节点故障异构恢复算法CHR(

8、Cost．basedHeterogeneousRecovery)，该算法保证故障节点恢复过程数据传输量最优并且恢复成本也最少。进一步地，本文将异构修复优化模型推广至一般性纠删码，同时给出了通用的异构替换修复算法HeRR摘要(HeterogeneousReplaceRecovery)，有效减少了故障修复过程的恢复成本。通过在实际的异构存储系统中开展广泛对比实验，本文证实了纠删码的异构修复算法可以有效地加快单节点故障修复时间。(3)加速退化读问题研究当存储系