分布式存储中精确修复最小带宽再生码的性能研究.pdf

《分布式存储中精确修复最小带宽再生码的性能研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、计算机研究与发展DOI：10．7544／issnlO00—1239．2014．20121095JournalofComputerResearchandDevelopment51(8)：1671—1680，2O14分布式存储中精确修复最小带宽再生码的性能研究卫东升李钧王新(智能信息处理上海市重点实验室(复旦大学计算机科学技术学院)上海201203)(12210240069@fudan．edu．cn)PerformanceStudyofExactMinimumBandwidthRegeneratingCodesinDistri

2、butedStorageWeiDongsheng，LiJun，andWangXin(ShanghaiKeyLaboratoryofIntelligentInformationProcessing(SchoolofComputerScience，FudanUniversity)，Shanghai2Ol203)AbstractDistributedstoragesystemsneedtointroduceredundancytoensuredatareliabilityagainstnodefailures．Torepairf

3、ailednodes，asignificantamountofbandwidthisconsumed．RegeneratingcodesareabletOachievetheoptimaltradeof{betweenthestorageoverheadandtherepairbandwidthoverhead．Basedonthecurrentsituationthatbandwidthresourcesaremorepreciousthancomputingresourcesindistributedstoragesy

4、stems，exactminimumbandwidthregenerating(E—MBR)codes，whichcanbeimplementedbyaproduct—matrixconstruction，enjoytheadvantagesofregeneratingcodesaswellassystematiccodes，andhavenorestrictionsforallconstructionparameters，makingthemselvesapromisingcandidatetowardstheappli

5、cationindistributedstoragesystems．However，theperformanceoverheadofdistributedstoragesystemsbasedOilthiscodingschemehasnotbeeninvestigatedandanalyzed．Thispapergivesaformaldescriptionofcodingoperations，whichcanbecategorizedintothreedistinctphrases：uploading，download

6、ingandrepairing．WeherebyanalyzetheimpactoftheCPUutilization，thefilesize，thebuffersizeandtheGaloisfieldsizetothecomputingratesinthethreedistinctphrasesabove．WefindthatdistributedstoragesystemsbasedonE—MBRcodesareabletoachieveahighcomputingthroughputifweconfigurethe

7、constructionparametersofE—MBRcodesappropriately．Keywordsdistributedstorage；regeneratingcodes；networkcoding；product—matrix；performancestudy摘要分布式存储系统为保证数据可靠性，需要对数据进行冗余存储来应对由于节点失效所带来的数据不可靠性．基于矩阵积构造的精确修复最小带宽再生码除了能够显著降低系统的存储冗余，而且编码的构造参数之间没有约束限制，还能够显著降低修复带宽的开销，具有广阔的应用前景

8、．然而，基于此编码方案所设计的分布式存储系统的性能开销并没有得到充分的研究和分析．针对该编码在分布式存储系统中数据上传、修复、下载3个阶段，分别比较CPU使用率、文件大小、缓冲区大小以及有限域大小对上述3个阶段中运算速度的影响，发现通过对相关参数进行合理配置，可以使得基于相应编码方案的分布式存储系统能够