基于编码的分布式存储系统性能优化研究

《基于编码的分布式存储系统性能优化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、．．、‘’‘．气．‘八＾：、ｙ＾，；＼＾，云、餘：作‘＇’―’一‘“．‘＾物持＾劳（乂扛；；．ｔ：側＇？吗訓＇．．一；．，．＞．知ｒ；冷，户？瓣：織磬义苗ｉ；择：声馬：Ａ知Ｖ研究生毕业论文乂转诚‘．＂＇＜‘．、；点、‘．ｖ；＼作．紙，＇（申请硕去学位＞嚴？私：乾＾诚．祭以＇—‘＇与占．？：：．；－去：、．，；瓦．皆钱心一寄Ｖ、，，．．心’妃，Ｖ／苗ｆ．’论文题目泉于编码巧分布式在储《统性能优化研究乂：、女．＞禾《ｙ．．ｉｉ‘．；备作者姓名童基苗．、－？、＇■，，＇＞■

2、■？＜．．．；；雜禱紐逃一＾筆指导教师叶保留教授＇研究方向分布计酱与并行处理皆ｙ＇■．，？、Ｊ．■－－—＇草’．‘１．．’＇－．巧冷，＾；一、？’，＇、，－—一？产／？‘．：？．．＞＇户、’－寺、；．－＇；Ａ？＇■ｙ－：：＼：／／、＇．－‘．＂＇‘、‘＇．－？－？＇－■＂．？－＇？＞－＜一，？Ｊ＇ｒ二？ｉｃｉ＞：、－八＾、ｔ、少，，■一＊＇．．？‘．’‘－－？＇、－；／一六换；，＊＇ｒ．．令＼／＇２０１６－＾５＾’

3、‘叫＇？‘‘違：Ｌ：ｒ心心、、Ｌ、’？斗；？＇．．：＇．．＇．．．；：Ｊ八教撕化￣学号：ＭＧ１３３３０９４论文答辩日期：２０１６年５月２８日指导教师（签字）南京大学研究生毕业论文中文摘要首巧用纸毕业论文题目：基于编码的分布式荐储系统性能优化研究软件工程专业２０１３级硕去生姓名：童暮指导教师（姓名、职称）：叶保留教授摘要随着云计算和大数据技术的兴起，对海量数据的可靠存储成为研究热点。在为海量数据的存储选择基础设施时，廉价商用机器搭建基于网络的分布式存储系统比传统的由昂贵商可靠硬件组成的存储阵

4、列更具成本与性能上的优势。分布式存储系统为了保证可靠性会采用一定存储冗余策略如多副本策略、编码策略。在编码策略中，针对节点修复时网络流量与磁盘Ｉ／Ｏ的优化促使了再生码与局部可修复码的产生。存储系统中的编码冗余策略可显著提裔系统存储效率、降低节点修复的流量开销。但是同时，由编码方法所引入的其他开销，如编解码过程的计算开销、编码元数据的存储开销，会给系统带来新的。性能瓶颈在基于编码的分布式存储系统中，利用系统实际的资源与特点。，可Ｗ降低编码方法带来的性能瓶颈、优化系统性能例如，在一节点修复过程中充分利用实际网络拓扑信息，可Ｗ进步减少系

5、统的修复开销；利用系统中数据文件的访问将点，根据数据生命周期自适应地为数据调整系统资源，如编码方式、内存资源等，能有效提离存储系统中的资源利用效率。论文Ｗ建立高性能云存储系统为目标，对基于编码的分布式存储系统中利用网络拓扑的节点修复机制及面向编码矩阵的缓存机制开展研究。论文的主要工作包括ｗ下几个方面：１）Ｗ提高自研的Ｃｕｍｕｌｕｓ系统名字节点的内存资源使用效率，降低内存负载为目标，设计并实现了针对文件元数据中编码矩阵的缓存模块。结合系统中数据文件的访问频率差异性，在保证文件访问效率的基础上，有效地缓解了随着系统中文件数量增多

6、，元数据的编码矩阵信息对名字节点内存带来的额外负载。通过实验证明，在数据访问具有局部性的情况下，缓存模块的命中率要明显高于随机访问模式的命中率；相同的局部访问模式下，加入缓存模块的系统与未加入缓。存模块的系统相比，名字节点的内存开销要小２）提升简单再生码节点修复效率为目的，对简单再生码的节点修复过程进行抽象建模，建立了节点修复时延评估模型，并基于贪屯、思想设计了利用网络带宽信息优化简单再生码节点修复过程的并行修复树构建算法。通过实验证明，在保证修复过程成功率的基础上，利用并行修复树算法的修复过程与直接修复过程相比，有着更小的节

7、点修复时延。并且随着网络带宽的变化，前者的时延性能更加稳定。关键词：分布式存储，网络编码，，，网络拓扑节点修复缓存ｉｉ南京大举研《生举业论义英文摘要首贡用纸ＴＨＥＳ－ＩＳ：ＰｅＯｉｍｉｎＣｉｉｒｒｆｏｒｍａｎｃｅｐｔｉｚａｔｉｏｎｏｄｅｂａｓｅｄＤｓｔｒｂｕｔｅｄＳｔｏａｇｅＳｙｓ化ｍｓＳＰＥＣｉｉＩＡＬＩＺＡＴＩＯＮ：Ｓｐｆｔｗａ巧ＥｎｇｎｅｅｒｎｇＰＯＳＴＧＲＡＤＵＡＴＥ：ＸｉｎＴｏｎｇＭＥＮＴＯＲ：ＰｒｏｆｅｓｓｏｒＢａｏｌｉｕＹｅＡｂｓｔｒａｃｔＷｉｔｈｔｈｅｒｉｓｅｏｆＣｌｏ