ceph存储技术中crush算法的研究与改进

《ceph存储技术中crush算法的研究与改进》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、－－－分类号ＴＰ３化．４ＵＤＣ：Ｄ１０６２１３０８巧０１６）０２６８０：巧级Ｉ３口０６０１００７：公开编号成都信息工程大学硕±学位论文Ｃｅｐｈ存储技术中ＣＲＵ細算法的研巧与改进姓名穆彦良学号３１３０６０１００７学院计算机学院学位类型囚学术型□专业学位学习形式囚全日制□非全日制学料／领域计算机应用技术研究方向嵌入式系统王程＾校巧徐振明教授导师－校外？？ｖ？■斬：９－成都信息工程大学硕±学位

2、论文成都信息工程大学硕±学位论文原创性声明本人郑重声明：所呈交的学位论文《Ｃｅｐｈ存储技术中ＣＲＵＳＨ算法的研巧与改进》，是本人在指导教师徐振明教授指导下，进行研巧工作所取得的成果。除文中已经注明引用的内容外，本学位论文的研巧成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉巧的研究工作做出贡献的其他个人和集体，巧己在文中抖明确方式标明。本学位论文原创性声明的法律责任由本人承扭。论文作者签名爲良一？Ｗ屋年《月■２。日指导教师签名：月从日－幸堯

3、砖…——＾－－－－－成王娱掌硕±学位论文版权使用授权书本人完全了解成都信息工程学院关于收集、保存、使用学位论文的规定，同意位如论下文各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；按学校有权提供目录检索及提供本學位论文全文或者部分的阅觉服务；学校有权有关规定向国家有关部ｎ或者机构送交论文的复印件和电子版；学校可复制、在赠送解和交换学位论文；学校可（＾＾公布学位论文的全部或部分内容。（保密学位论文

4、密后遵守此规定）工程除非另有科研合同和其他法律文书的制约，本论文的科研成果属于成都信息学院。论文作者签名：幸奮奏秦心乂年＾月如曰指导教师签名：＾片＾月２衣日守＾Ｓ本学位论文密级属于级，保密期限为年，解密后适用本授权书。密级解密时间年月日作学者位签论文指导教师学校保密办公名名化ｇＤ室年任曰口签审梭情况年月日月日年月日（公章）注：答辩通过危，每份定稿提交的论丈中，均须附由作者本人签名的原创声明及使用摄权书分类号：TP316.4UDC：D10621

5、-308-(2016)0268-0密级：公开编号：3130601007成都信息工程大学硕士学位论文Ceph存储技术中CRUSH算法的研究与改进姓名穆彦良学号3130601007学院计算机学院学位类型学术型□专业学位学习形式全日制□非全日制学科/领域计算机应用技术研究方向嵌入式系统工程校内徐振明教授导师校外成都信息工程大学硕士学位论文Ceph存储技术中CRUSH算法的研究与改进学科领域名称：计算机应用技术研究生：穆彦良指导教师：徐振明教授摘要为了适应大数据应用场景逐步由计算中心向数据中心转变，分布式存储系统作为底层基础

6、设施之一，面临多方面的挑战，包括数据量的增长速度、数据种类的多样性、愈来愈高的性能需求等。针对这些变化，分布式存储技术中首要解决的三大技术难点有：数据一致性、数据可靠性和负载均衡；数据分布问题直接影响集群的负载均衡，优秀的数据分布算法对一个分布式存储系统尤为重要。CRUSH(ControlledReplicationUnderScalableHashing)算法是Ceph分布式存储系统中的数据分布算法，该算法通过实际的集群物理架构，建立一个多层次的映射表，根据层次结构进行迭代，返回一组最适合存储数据对象的存储节点；该算法

7、使用一致性哈希算法来产生伪随机数，并结合了节点权重进行加权运算。因此，该算法分配存储位置的时候考虑了集群当前的存储情况，在大多数情况下能够保证数据分布足够均匀，不会影响集群的负载均衡；由于数据对象的大小、集群规模以及实际的部署结构都作为参数参与了CRUSH算法的运算过程，所以三者之间存在互相影响，互相制约的关系。在实际应用当中，如果存储的单个数据对象太小，影响节点权重的变化较小，容易造成一组相关性高的数据存入同一组存储节点中；针对这一组数据进行访问的时候就会产生负载均衡问题，即某些节点的使用率过高，而大部分节点空闲，使整

8、个集群的性能急剧下降；另外一方面，如果对集群的存储规模进行改动，如扩容、删除历史数据、备份、节点故障等造成集群节点的权重值差异也会导致小文件数据对象落入相同的节点，造成存储分布不均匀，进而影响集群的性能。经研究发现，上述问题是由CRUSH数据分布算法所引起的，CRUSH算法没有充分考虑数据的多样性和集群规模的扩展性对