基于纠删码的云存储数据可靠性保障-论文.pdf

《基于纠删码的云存储数据可靠性保障-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第14卷第4期软件导刊Vo1．14NO．420l5年4月SOftwareGuideApr．2015基于纠删码的云存储数据可靠性保障王芳芳(十堰广播电视大学(教育学院)理3-部，湖北十堰442O00)摘要：云存储系统由于其系统复杂性和业务特征，使数据可靠性受到严重挑战。针对云计算环境下带数据去重的云存储系统的内部数据保护问题，提出一种基于纠删码的数据可靠性保障机制，采用多种纠删编码算法臻配置方法对去重数据块进行编码保护。该机制具有良好的综合性能与可扩展性。关键词：云存储；数据可靠性；纠删码；数据去重DOI：10．11907／rjdk．1431041、中图分

2、类号：TP309．2文献标识码：A文章编号：1672—7800(2015)004—0137—02的纠删码算法及配置方法对去重数据块进行静态编码，并0引言提出了基于纠删码的云存储系统数据可靠性保障机制(ReliabilityGuaranteeMechanismforDeduplicationCloud1l7．1云存储是云计算服务商提供的一种IaaS模式的基础Storage，RGMDCS)。2服务，其通过硬件集群、高速内联网络以及分布式文件系统等资源和技术，将大量设备中的存储资源整合成一个整1纠删码选取体，共同对外提供基于网络的数据存取服务。它的业务特点是向

3、外界提供统一、透明的数据操作接口，将所有的分1．1Reed—Solomon编码布式存储细节都封装在系统内部]。Reed—Solomon编码(下称RS编码)是目前使用最广目前多数云存储系统(网盘、云空间等)为控制系统规泛的纠删码之一。RS编码同时具有MDS属性和系统属模，降低系统建设和管理成本，均采用了数据去重技术来性，因此它编码生成的n个编码数据片段包含m个原始压缩数据量。鉴于其它种类云存储系统的数据保护要求数据片段以及n—m个校验数据片段，其中任意片段丢失较为简单，现有机制已经能够很好地满足需要。因此，本后均可使用任意m个存留的片段来恢复。文针对这种带

4、数据去重的云存储系统，对如何保障其内部RS编码的编码过程可由式(1)描述：数据可靠性进行了研究。1针对去重系统的数据可靠性保障，传统做法包括使用m×2更加可靠的底层存储设施(如RAID阵列)，以及对重要的?7数据块保留更多副本。前者部署方便，对上层透明，但m—Id是容错能力差、恢复过程慢；后者容错能力强、恢复过程1．2Tornado编码快，但空间占用多、带宽消耗量大、成本高。因此，这两种Tornado编码不具有MDS属性，但具有系统属性。技术仅对小规模存储系统以及数据量不太大的核心业务Tornado编码的编解码操作计算开销较小，而且用到的节较为实用。对于

5、云存储这种大规模分布式存储系统而言，点数目也较少。因此，Tornado编码比传统的MDS纠删由于其节点数量和数据规模极其庞大，如果每个节点都采码具有更快的运算速度，其数据修复过程需要更小的数据用高端设备，或者系统整体采用复制冗余机制，均会导致传输量，非常适合大规模的分布式存储系统。整体成本的极大增长，使建设和使用这类系统变得难以承受，从而失去实用性]。相对于各类本地存储系统，云存2静态密码策略储系统内部的数据重要性高但活跃度较低，因此有条件在系统内使用较为复杂的纠删码来保护数据，以便在存储成2．1设计方案本和可靠性间达到更好的平衡。为此，本文采用多种不同

6、考虑到云存储系统面对的数据具有复杂性和多样性，基金项目：湖北省现代远程教育研究会专项研究课题(hbyyzx2O14O2)作者简介：王芳芳(1982一)，女，湖北十堰人，硕士，十堰广播电视大学(教育学院)理工部讲师，研究方向为计算机应用技术。软件导刊2015正RGMDCS系统采用了RabinRngerprinting算法对数据进些存储节点之间存在着一定关联性，例如相近的物理位行变长分块。然而，相关研究表明，若使用变长分块算法置、共享的供电设施和网络链路等，导致它们很可能同时对文件进行分块去重，由于数据块大小不同且都比较小或连续失效，这样的节点集合称作错误域

7、。针对这一情(通常为几十字节到几百KB)，在存储节点中将数据块直况，RGMDCS的资源管理模块在为一个编码对象组挑选接存储会大大增加设备中的磁盘碎片，导致其访问效率低不同节点进行存储时，会挑选分布在不同机柜、不同供电下，造成系统性能产生较大程度下降。针对这一矛盾，及网络区域的那些节点，以降低某个错误域内多个节点同时或连续失效对数据造成的损失。此外，对于同一个或同RGMDCS将多个变长的数据包打包成较大的定长对象(Object，一般为几MB)进行存储和管理，定长对象的大小一批文件所属的新数据块，其打包并分组编码生成的编码对象组会被资源管理模块尽可能地调度到

8、同一组节点存根据不同的应用场景和相关实践来配置。数据块储。这样做可有效地减少文件