纠删码存储集群归档、重构、读取优化技术研究

《纠删码存储集群归档、重构、读取优化技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、`分类号学号M201172384学校代码10487密级硕士学位论文纠删码存储集群归档、重构、读取优化技术研究学位申请人：黄思倜学科专业：计算机系统结构指导教师：黄建忠副教授答辩日期：2014.1.17万方数据`AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchonOptimizationsofArchiving,ReconstructionandReadingforErasure-codedStorageCluste

2、rsCandidate:SitiHuangMajor:ComputerArchitectureSupervisor:Assoc.Prof.JianzhongHuangHuazhongUniversityofScienceandTechnologyWuhan430074,P.R.ChinaJanuary,2014万方数据`独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式

3、标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学硕士学位论文摘要出于存储效率的

4、考虑，纠删码存储策略已成为副本存储策略的重要补充。为节省存储空间，存储系统往往将低热度副本数据按纠删码方式进行归档存放；另外，相对于副本方式，纠删码方式存在修复时间长、访问延迟高的不足。因此，快速归档、高效重构和低访问延迟构成了纠删码存储系统的重要设计目标和挑战。以纠删码存储集群为研究平台，分别对归档、重构和读取三个方面提出优化，具体包括一类流水线归档策略、一种针对多节点失效的交叉重构策略和一种异构性感知的读取策略：(1)为了加速归档，流水线归档策略利用链式布局的数据局部性生成多个校验块。一方面，限制参与归档的节点个数；另一方面，最大限度使用节点的磁盘

5、资源以提高并行性。(2)为了减小失效窗口，交叉重构策略将多个条带互斥地分配给不同的重构节点，以并行的方式来恢复多个条带的失效数据；为了减少交叉读取对存活节点磁盘顺序读取操作的干扰，对存活块采取预取操作。(3)为了给用户请求提供稳定的响应，读取策略监测节点的速度和负载，根据统计信息估计响应时间并有节制地使用降级读从快节点获取数据。实验结果显示，相比于传统的归档、重构和读取策略：(1)流水线归档策略一方面可以提供最短的响应延迟（减少7%至22%），另一方面可以提供最快的归档速度（用时减少53%至63%）；(2)交叉重构策略在多节点重构时能提供1.63倍至2

6、.14倍的加速比；(3)异构感知读取策略能够为数据量小的请求提供最快的用户响应（加速比至少为1.71倍）和最高的吞吐率（高于其他策略至少38%）。关键词：集群存储，纠删码，归档，重构，读取I万方数据华中科技大学硕士学位论文ABSTRACTInconsiderationofstorageefficiency,erasure-codedstoragestrategyhasbecomeanimportantsupplementtoreplicationstrategy.Tosavestoragespace,storagesystemstendtoarchiv

7、ecoolreplicationstoerasurecodes.Comparedtoreplications,erasurecodesrequirelongerrepairtimeandhigheraccesslatency.Therefore,quickarchiving,efficientreconstructionandlowaccesslatencyareimportantgoalsandchallengesoferasure-codedstoragesystems.Weproposeoptimizationstrategiesofarchiv

8、ing,reconstructionandreadingforerasure-codedsto