一种基于纠删码分布式备份技术的研究

《一种基于纠删码分布式备份技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringAResearchoftheBackupTechnologyBasedonErasureCodeinDistributedStorageSystemCandidate:BiWenjuanMajor:ComputerArchitectureSupervisor:Prof.XieChangshengHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.Chi

2、naJanuary,2013独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩

3、印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要随着互联网技术和信息技术的不断发展，存储系统中的数据量不断增长并呈海量形式发展。传统的依赖本地服务器的存储已经无法满足日益增长的存储需求，因此大规模的基于分布式存储的数据中心正在迅速增长。分布式存储系统中，为了保障数据的可用性，容灾备份是关键问题之一，这需要使用容错策略来实现系统的高可靠性，特别是存在大量的冷数据的分布式存储系统中，冷数据的备份方式需要特别考虑。针对上述问题，在介绍备份容错策略

4、的基础上，对分布式系统的编码备份技术进行了分析和研究，并提出了一种基于编码的分布式备份方案。通过对现有编码技术的研究，提出了一种基于纠删码的，适用于含大量冷数据分布式系统的一种备份架构。这种架构在保障数据可靠性的同时，能够提高系统的存储利用率，提高系统的负载均衡性，缩短节点失效时的修复时间，增加系统灵活性。在系统设计上，为了使系统的负载更为均衡，将存储节点中的物理节点根据需求分为多个虚拟节点并且排序后均匀分布在圆环结构中，虚拟节点存储用户数据。同时，根据用户需求设计不同的备份服务器，选择存储组，存储组由多个不在同一物理节点的虚拟节点构成，备份服务器中的数据经过分割，纠删码编码后，分散存储到存

5、储组内的虚拟节点上，不同的用户需求可以选择不同的纠删码。处理失效时，数据块通过解码的方式恢复来保证其可靠性，物理节点通过多存储组的并行恢复在保证可靠性的同时，缩短恢复时间。基于设计的模型，对基于纠删码的分布式备份方案进行了仿真测试，通过节点选取和数据修复的测试，验证了编码备份方案能保证数据的可靠性，相较于三副本方案，存储利用率提高36%，较非并行的编码方案，修复时间更短。在测试过程中主要采用了CRS和RS码两种纠删码进行测试，测试表明CRS码的编解码效率比RS码更好，恢复能达到高效率。关键词：分布式存储系统，纠删码，备份，里德所罗门码I华中科技大学硕士学位论文AbstractWiththed

6、evelopmentofInternetandinformationtechnology,thenumberofdataisgrowingexponentially.Facinggrowingdatapressure,thetraditionalstoragetechnologythatdependedonthelocalserverstoragehasbeenunabletosatisfythegrowingdemandofdata,soalotofdatacentersbasedondistributedstoragesystemaregrowingrapidly.Inordertoen

7、suretheavailabilityofdataindistributedstoragesystem,disastertoleranceisoneofthekeyproblems.Itneedstouseavarietyoffaulttolerantstrategiestoachievethehighreliability;especiallythedistributedstoragesystemconta