海量数据存储系统的高可靠性关键技术研究与应用.pdf

《海量数据存储系统的高可靠性关键技术研究与应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA博士学位论文DOCTORALDISSERTATION论文题目海量数据存储系统的高可靠性关键技术研究与应用学科专业计算机软件与理论学号200911060153作者姓名蒋海波指导教师王晓京研究员万方数据分类号密级注1UDC学位论文海量数据存储系统的高可靠性关键技术研究与应用（题名和副题名）蒋海波（作者姓名）指导教师王晓京研究员中国科学院成都计算机应用研究所（姓名、职称、单位名称）申请学位级别博士学科专业计算机软件与理论提交论文日期2013.03.18论文答辩日期

2、2013.05.28学位授予单位和日期电子科技大学2013年06月23日答辩委员会主席周明天评阅人唐常杰张小松岳丽华钟勇汪心宣注1：注明《国际十进分类法UDC》的类号。万方数据APPLICATIONANDRESEARCHONKEYHIGH-RELIABILITYTECHNOLOGYINMASSDATASTORAGESYSTEMSADoctorDissertationSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerSoftwareandTheoryAuthor:Jian

3、gHai-boAdvisor:WangXiao-jingSchool:SchoolofComputerScienceandEngineering万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：蒋海波日期：2013年06月25日论文使用授权本学位论文作者完全了解电子科技大学有关保留

4、、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：蒋海波导师签名：王晓京日期：2013年06月25日万方数据摘要摘要随着信息技术的不断发展，数据日益成为人们日常生活中重要资源。据统计，2010年全球创建、存储和复制的数字信息总量已达到1.2ZB，2011年的数据量达到里程碑式的1.8ZB，而且这种增长还在加速，预计2015年将达到近8ZB。爆炸式

5、增长的数据必然带来存储设备的持续增加。目前，海量数据存储环境下的现代数据中心的存储节点规模少则几万多则几十万，但在规模巨大的存储环境系统中，磁盘损毁或者存储节点失效已成为一种常态行为；与此同时，因网络连接设备或者存储节点其它元器件造成的数据不可访问或者丢失现象也时有发生。为了满足日益扩展的数据存储需求，人们对数据存储的可靠性，可用性等相关特性提出了更高的要求，传统的常规技术手段根本无法应对当前的形式，如何实现海量数据的低冗余度高可靠性存储已经成为业界面临的一个巨大挑战。因而，本文针对构建低冗余度高可靠性海量数据存储系统的关键问题，在总结了当今数据可靠性增强理论和海量

6、数据存储系统基本架构的基础上，对高性能数据容删数据布局算法以及高可靠性存储架构等方面进行了深入的研究，取得了一定的进展，具体如下：1．针对已在数据存储系统中有广泛应用的RAID技术，提出了一种新的基于异或运算的水平阵列纠删码：EX-ENOD码。该码能够容许任意三列的随机删除错，并具有极大距离可分性质。根据该码的几何构造特点，提出了一种具有低计算复杂度的译码方法，该方法的计算复杂度要低于目前已知的其它可纠三列随机删除错纠删码的译码方法。同时，该编码方法具有明显的通用性，可以扩展应用到STAR码、EEOD码的译码过程。2．针对海量存储系统规模不断扩大，可靠性要求不断提高

7、的需求，本文将在{0,1}符号域上的范德蒙系统编码方法引入存储系统中来。该种编码方法继承了传统有限域上构建的范德蒙编码的参数不受存储节点规模、容错参数限制的优良特性，而且存储效率达到最高，同时该方法突破了传统有限域上构建的编码需要大量查询运算的弊端。基于该编码方法构建的存储系统，在保证其数据仍然可用的情况下，最多可容许系统内部一半的存储节点发生损毁，在该种情况下，系统仅需要与原数据相同的冗余数据量。3．针对{0,1}符号域上编码矩阵的特点，根据编码矩阵中各行向量中“1”元I万方数据摘要素的分布，提出了可降低编译码计算复杂度的优化算法。文章同时针对传统译码重构过程