一种面向纠删码技术的云存储可靠性机制-论文.pdf

《一种面向纠删码技术的云存储可靠性机制-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第31卷第2期计算机应用与软件Vo1．31No．22014年2月ComputerApplicationsandSoftwareFeb．2014一种面向纠删码技术的云存储可靠性机制杜芸芸(武汉体育学院体育工程与信息技术系湖北武汉430079)摘要在云存储中，数据可以分为三种类型：读频繁、写频繁以及冷数据。对不同类型的数据设置不同的编码机制：对读频繁数据采用多副本技术，频繁写的数据采用单文件编码方案，冷数据采用跨文件编码方案。在云存储系统中提出了一种新的纠删码技术的可靠性机制一魔方码，该编码易于实现，具备高的容错性并且相比多副本机制可以减少

2、资源的消耗。以HDFS上的一个RAID包为基础，实现魔’方码的原型，并添加BlaumRoth、RDP以对比测试。虽然各种编码各有优缺点，通过单机和集群测试RAID一5、Blanm．Roth、RDP和魔方码的编译码速度，魔方码译码速度比现有最优RAID-6编码RDP码提高了一个数量级。同时，针对大规模分布武系统提出了一种三维纠删码，可以容任意7个错误。总之，测试结果显示魔方码相比三份副本技术，在减少一半资源消耗的同时可以保证高的可用性和可靠性。关键词云存储系统可靠性纠错码魔方码中图分类号TP391．9文献标识码ADOI：10．3969／j

3、．issn．1000—386x．2014．02．083ACLOUDSTORAGERELIABILITYMECHANISMFORERASURECoDINGTECHNIQUEDuYunyun(DepartmentofSportsEngineeringandInformation，WuhanInstituteofPh~walEducation，Wuhan430079，Hubei，China)AbstractIncloudstorage，dataaredividedintothreetypes：theheavy—read，theheavy—wr

4、iteandthecold．Fordataindifferenttypes，diferentcodingmechanismisconfigured，namely，themulti—replicationforheavy-read，thesingle—filecodingforheavy—write，andthecross—filecodingforcolddata．Wepresentincloudstoragesystemanewreliabilitymechanism——theCubiccode，asitiscalled，forera

5、surecodingtechnology．Suchcodeiseasytoimplement，hashighfaulttolerance，andcancutdowntheresourcesconsumptioncomparingwiththemuhi-replicationmechanism．WeimplementtheprototypeofCubiccodebytakingaRAIDpacketonHDFSasthebasis，andaddBlaumRothandRDPforcontrastivetest．Althougheachco

6、dehasitsownprosandcons，bystand—aloneandclustertestingtheencodinganddecodingspeedsofRAID'5，ClanmRoth，RDPandCubiccode，thelastisfasterbyoneorderofmagnitudeindecodingspeedthanthatofthecurrentlybestRDPcodeofRAID-6coding．Meanwhile，wealsopresenta3Derasurecodingforlarge·scaledis

7、tributionsystem，itcantolerateany7faults．Insummary，thetestresultsshowthattheCubiccodecanguaranteehighavailabilityandreliabilitywhilereducinghalfresourcescon—sumptioncomparedwiththree—waymulti—replicationtechnology．Keywords·CloudstoragesystemReliabilityErasurecodeCubiccode

8、EMC的云存储基础架构解决方案Atmos则是一个软硬件0引言结合套件，它具有自动架构、自主修复和海量数据存储功能，存储容量可以扩展到PB级，支持数十亿的文件和对象，并提供全云存储服务的发展如火如荼，像著名的