基于最小修复带宽的分布式存储系统编码机制构造的研究

《基于最小修复带宽的分布式存储系统编码机制构造的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据论文独创性声明本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除了特别加以标注和致谢的地方外，不包含其他人或其它机构已经发表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献均已在论文中作了明确的声明并表示了谢意。作者签名：论文使用授权声明本人完全了解复旦大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其它复制手段保存论文。保密的论文在解密后遵守此规定。作者签名：艋导师签名：斛蹴谢眨哗万方数据基于最小修复带宽的分布式存储系统编码机制构造的

2、研究AStudyoftheConstructionsofCodesforDistributedStorageSystemswithMinimumRepairBandwidth导师詹亮阚海斌教授指导小组成员阚海斌教授张军平教授章忠志副研究员万方数据目录摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．4ABSTRACT⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．5第一章引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．71．1研究意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．．⋯．⋯．．．．71．2国内外研究现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．81．3本文主要研究内容与章节组织⋯⋯⋯⋯

3、⋯⋯⋯⋯⋯⋯．-⋯．9第二章相关理论基础概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯102．1网络编码经典理论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯．102．2纠删码及佃S码概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯122．3分布式存储系统概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯132．4分布式存储系统的冗余机制⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯14第三章基于纠删码的节点修复⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．153．1节点修复问题⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．153．1．1．节点修复问题描述⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯153．1．2．节点修复性能指标⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯153．1．3．利用网络编码降

4、低修复带宽⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．163．2节点修复网络流模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯173．3三种修复模式⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯．2l第四章WU的编码机制的构造⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．244．1系统性MDS码的构造思想⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．244．2Wu的编码机制构造方法⋯⋯⋯．⋯⋯⋯⋯⋯．⋯⋯．．⋯⋯244．3Wu的编码机制构造算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯26第五章基于wU的编码机制的拓展构造⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．285．1拓展编码机制的构造⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯285．1．1．Wu的构造与其他机制的比较⋯⋯⋯⋯⋯⋯⋯⋯⋯

5、⋯．．285．1．2．wu的编码机制的局限⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．295．1．3．拓展编码机制构造方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯305．2拓展编码机制的特性证明⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．335．3拓展编码机制的构造算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．345．4拓展编码机制的性能评估⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．35第六章结论与展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯366．1结论⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．366．2展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．36参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯382万方数据附录⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

6、⋯⋯⋯⋯⋯⋯．43A．硕士在读期间发表的学术论文⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．43B．参与的科研项目⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．43致谢⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．443万方数据摘要随着大数据时代的到来，全球信息数据资源开始呈现出爆炸性增长。图灵奖获得者JamesGray甚至提出了关于全球数据总量的摩尔定律：全球数据总量每18个月就将翻一番，也即未来每18个月就能产生出与人类有史以来全部数据总量相同规模的数据。为了满足大数据时代各种大规模存储应用的存储需求，人们开始越来越多地关注分布式存储技术。分布式存储系统(DistributedStorag

7、eSystem，．DSS)就是利用一定的技术手段将原始数据分别存储在相互独立的若干台设备上，并能通过不同程度的数据冗余来提供对数据的可靠访问。然而分布式存储系统中相互独立的各个节点本身会因为各种原因发生失效。随着分布式存储系统规模的不断扩大，这种节点失效的情况出现得越来越普遍。因此，构建分布式存储系统需要面临的一个问题便是节点修复：为了使系统能够保持相同的可靠性，当一个存储了编码信息的节点发生失效后，必须在新的节点再生出丢失的编码信息。本文对采用纠删码的分布式存储系统进行研究发现，基p使为了修复某一独立的失效节点，修复的过程也必需先恢复出完整的原始数据，再根据

8、原始数据再生出有效的数据片段。为了更加