基于网络编码的分布式存储码技术的研究

《基于网络编码的分布式存储码技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据指导小组成员名单阚海斌教授张军平教授章忠志副教授万方数据目录摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯lAbstract⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯．⋯．⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯．2第一章引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。31．1研究背景和意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．31．2主要研究内容⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．41．3本文组织结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

2、⋯⋯．4第二章网络编码的原理及构造⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。62．1网络编码理论基础⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．62．1．1网络编码的发展⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。62．1．2端对端的网络通信模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．72．1．3网络编码原理⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。92．2线性网络编码⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯ll2．2．1线性网络编码的描述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯l22．2．2静态网络编码⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

3、⋯⋯⋯⋯⋯⋯122．3网络编码的优势和缺点⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯142．4本章小节⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯17第三章分布式存储系统及再生码的应用⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯183．1分布式存储系统介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯183．2分布式存储系统的编码实现⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯203．3数据修复与再生码⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯223．3．1功能性修复⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．243．3．2精确修复⋯⋯⋯⋯⋯⋯⋯⋯

4、⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯273．3．3系统部分精确修复⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯283．3．4精确修复的最优再生码⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯303．4本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯34第四章应用于分布式存储系统的准循环再生码⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯364．1准循环再生码⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯364．2一种准循环再生码的构造方案⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯384．3修复性质与算法分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯434．3．1弱限制下的准循

5、环再生码⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯434．3．2强限制下的准循环再生码⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯484．4本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯5l第五章总结和展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯525．1总结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．525．2展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．53万方数据参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。54攻读硕士学位期间研究成果⋯⋯⋯⋯

6、⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．58致谢⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．59II万方数据基于网络编码的分布式存储码技术的研究摘要随着数字信息从文本到多媒体的转变以及社会信息化进程的加快，信息量开始呈几何级数爆炸性地增长，海量数据的存储和处理受到社会各界越来越广泛的关注。分布式存储系统(DistributedStorageSystem)正是一种结合了互联网和存储技术的面向海量数据的存储解决方案。然而，由于网络的不稳定性，分布式存储系统中很容易发生由于节点失效导

7、致的数据无法取回，因此往往需要采取某种冗余机制来提高可靠性。同时，系统需要具有对失效节点所存储的数据进行修复的能力以维持其容错性能，但这一过程可能引起大规模的数据传输。利用网络编码技术不仅能够提高系统的容错能力，而且能够优化冗余带来的额外存储消耗和数据修复过程的带宽消耗。传统的分布式存储一般采取的是基于纠删码的方法，在一定程度上提高了数据的可靠性，但在数据修复时会产生很大的带宽消耗和计算负载。针对这一问题，本文引出了再生码的概念，并讨论了基于再生码编码策略的三种数据修复模型，通过比较和分析得出了可精确修复的

8、编码方案有更好的实践价值，并分析和总结了现有的精确修复再生码编码方案。在此基础上，本文提出了一种适用于分布式存储系统的新型准循环再生码编码方案，该编码基于循环结构，是一种不失一般性的再生码构造策略，具有构造简单、运算代价低和修复带宽小等特点。文中详细阐述了其定义和构造方法，并对其构造条件和性质进行了详细的分析和精确的证明。同时，本文针对该编码方案节点修复时的两种限制条件，分别进行了研究和分析：在弱限制条件下，给出