提高存储系统服务质量的纠删码应用技术研究

《提高存储系统服务质量的纠删码应用技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号D201077564学校代码10487密级博士学位论文提高存储系统服务质量的纠删码应用技术研究学位申请人：殷超学科专业：计算机系统结构指导教师：谢长生教授万继光副教授答辩日期：2014年6月30日万方数据ADissertationSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofDoctorofPhilosophyinEngineeringResearchonErasureCodingApplicationTechnologyforUpgradingQoSofStorageSystem

2、Ph.D.Candidate:YinChaoMajor:ComputerArchitectureSupervisor:Prof.XieChangshengCo-Supervisor:Ass.Prof.WanJiguangHuazhongUniversityofScienceandTechnologyWuhan430074，P.R.ChinaJune2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的

3、个人和集体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在___年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学博

4、士学位论文摘要随着信息技术的不断突破和快速发展，现代社会产生的各种信息数据呈指数级增长。在大数据时代来临之际，人们对存储系统的要求也越来越高，希望系统能够提供高性能、低能耗、高可靠性以及高空间利用率的存储支持，网络间的数据交互还需要在低带宽消耗的情况下完成。近年来，纠删码技术作为提高存储系统性能、可靠性、存储效率以及降低能耗、数据传输和维护成本的关键技术，越来越受到重视，已成为存储学术界和工业界的研究热点。论文重新定义了存储系统服务质量的含义，其内容包括性能、可靠性、带宽消耗、成本（包括能耗成本和存储空间成本）。全文围绕基于纠删码在存储系统中的不同应用开展研究，目

5、标是提高存储系统的服务质量。研究内容具体包括：提高系统性能、降低能耗并提供可靠性保证的纠删码研究，提高存储空间利用率的纠删码研究，节省修复带宽的纠删码研究。对每个方面的研究都通过系统的实验和分析来验证所提方法的有效性。在提高系统性能、降低能耗并提供可靠性保证的纠删码研究方面，提出了一种高性能、低能耗、高可靠性的架构PERAID，系统在主存储区分出一部分空间，建立纠删码的缓存区域来接收新的写请求同时保证写数据的可靠性。纠删码的缓存区域提供多容错的能力，因此整个系统的可靠性和多副本系统的可靠性相当。提出了写缓存算法ECW和倒盘算法MCFD来提高系统的写性能和倒盘性能，

6、另外在用户请求较少的情况下，可以关闭镜像盘来降低能耗。实验数据表明，PERAID在提高系统性能和降低能耗方面优于目前的解决方案。在提高存储空间利用率的纠删码研究方面，提出了基于CRS编码改进的ICRS编码，利用其编解码速度快的优势来提高系统编解码性能。同时提出了一种面向大数据备份存储机制，提高了存储空间利用率。对系统的整体架构和软件模块进行了分析设计，系统将节点分成若干微型节点并且能够同时操作，从而能够提高系统的性能并使得系统负载更加均衡。测试结果证明系统能更快的完成编解码工作，编码速度上ICRS码优于CRS码和RS码，最高达到34.2%和56.5%，解码速度上I

7、CRS码优于CRS码和RS码，最高达到18.1%和31.1%。I万方数据华中科技大学博士学位论文在节省修复带宽的纠删码研究方面，提出了一种基于纠删码的精确修复算法ECode，并提出具有低修复带宽和低维护代价的云存储架构BMCloud。该架构综合利用了功能修复和精确修复，因而兼有两种修复的优点。同时，提出JUDGE_STYLE算法来判断采用何种修复方式：对小规模数据失效采用精确修复方式修复，修复计算消耗和带宽消耗都较小，而且修复方式灵活多变，能够在较快时间内迅速修复系统；对于大规模的数据失效，功能修复能够重新生成功能性数据块，保证系统正常运行。仿真结果表明，在使用精

8、确修复的时