纠删码集群存储的数据访问优化技术研究

《纠删码集群存储的数据访问优化技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、`分类号学号M201072426学校代码10487密级硕士学位论文纠删码集群存储的数据访问优化技术研究学位申请人：张峰豪学科专业：计算机系统结构指导教师：黄建忠副教授答辩日期：2013.1.21`AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchonDataAccessOptimizationsforErasure-CodedStorageClustersCandidate:Zha

2、ngFenghaoMajor:ComputerArchitectureSupervisor:Assoc.Prof.HuangJianzhongHuazhongUniversityofScienceandTechnologyWuhan430074,P.R.ChinaJanuary,2012`独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确

3、方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大

4、学硕士学位论文摘要近年来，随着信息化的高速发展，数据量呈爆炸式增长，分布式存储方式被广泛应用，同时数据可用性也得到了极大的重视。在此情况下，作为一种重要的冗余机制，纠删码被广泛应用于分布式存储系统以获得高可用性。但是，纠删码在读、写和失效恢复方面的代价较高，因此，为纠删码系统设计新的读、写和重构方案以提高系统性能具有重要的研究意义和应用前景。在基于纠删码的集群存储环境中，分别针对读、写和重构提出了三种优化方案，分别称之为基于最小负载的大读优化方案、局部式小写更新优化方案和基于重定向的在线重构方案。在基于最小负载的大读

5、优化方案中，首先结合纠删码集群系统的特点，定义了负载衡量基准，根据该基准，将集群系统中高负载节点的读请求转移到其他负载较低的节点上，最后解码出所需的数据，使得在平衡节点负载的同时，降低用户的访问响应时间。在局部式小写更新优化方案（PUS）中，充分利用存储节点的计算能力，将部分更新工作从更新节点转移至存储节点，减少由于更新所带来数据读、写和传输开销，有效缩短更新操作流程，不仅优化用户响应时间，而且减轻更新节点压力。实验结果表明，相比于传统更新方案，PUS能有效降低至少42%的小写更新时间。在基于重定向的在线重构方案（R

6、OW-R）中，按照„最小化用户I/O对重构I/O干扰‟的策略，将面向失效节点的全部写请求和部分读请求重新定位至其他存活节点，从而在物理上将用户工作流与重构工作流在一定程度上分开，通过充分利用磁盘在连续写时的高性能特性，加速重构进程。实验表明，ROW-R能有效优化用户响应时间达52%，并能够加速系统重构速度约6%。关键词：集群存储，纠删码，负载均衡，读优化，局部写更新，重定向，在线重构I华中科技大学硕士学位论文AbstractRecentyears,withtherapiddevelopmentofinformatio

7、ntechnology,theamountofdatawasexplosivegrowth,anddistributedstorageiswidelyused.Thereliabilityandavailabilityofdatahasalsobeenagreatdealofattention.Inthiscase,asoneoftheredundantmechanism,erasurecodesarewidelyusedinthedatastoragesysteminordertoobtainhighreliabi

8、lityandavailability.However,erasure-codedstorageclustercostmoreinreading,writing,andreconstructionwhenfailure.Therefore,designingnewschemesonreading,writingandreconstruction