基于纠删码的高性能云存储系统的设计与实现

《基于纠删码的高性能云存储系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201276122学校代码10487密级硕士学位论文基于纠删码的高性能云存储系统的设计与实现学位申请人：陶建学科专业：软件工程指导教师：区士颀答辩日期：2015.1.14AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreefortheMasterofEngineeringDesignandImplementationoftheHigh-PerformanceCloudStorageSystemBasedonErasureCodeCandidate:TaoJianMajor:SoftwareEngi

2、neeringSupervisor:OuShiqiHuazhongUniversityofScienceandTechnologyWuhan430074,P.R.ChinaJanuary,2015独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：

3、学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要随着互联网日益发展，数据存储，特别是大容量数据的存储，也越来越受到重视，分布式存储系统的出现，解决了大数据的存储问题，并且使得数据具有良好的可靠性、安全性。它将数据分散的存储在多个节点上，即使有若干个节点因系统故障、

4、断电等因素出现的宕机，也可以使用户在无察觉的情况下访问所需要的数据。在目前流行的分布式存储系统中，例如HadoopHDFS，OpenstackSwift，Ceph等，采用的数据备份方式均为三备份存储策略，其优点是实现简单，安全有效。缺点也很明显，就是占用大量存储空间。现在互联网用户越来越庞大，大型互联网公司每天需要存储的数据量可能是以PB为单位，如果任何数据都采用三备份的话，无疑对存储成本的节省提出了极大的考验。纠删码（ErasureCode）算法是一种将数据分割成片断，然后通过数据片运算生成冗余校验块的一种编码。针对这个状况，论文提出了基于HadoopHDFS的高性能存储平台。论文首

5、先介绍了当前国内外IT企业存储需求现状，分析了采用新存储策略的必要性。第二部分介绍了当前主流分布式计算/存储的Hadoop框架。第三部分是针对HadoopHDFS目前的三备份策略的存储占用空间过多以及当前ErasureCode编码性能等问题进行分析并提出系统的设计思路。第四部分是基于HdoopHDFS以及IntelCPU指令集的高性能云存储系统的设计与实现，以及对当前ErasureCode算法的优化，主要是利用IntelCPU指令集，改进有限域内矩阵的运算。第四部分通过对存储平台进行大小文件的编码测试，分析系统各项负载，对比不同的ErasureCode算法的性能，体现高性能运存平台的优

6、良性。基于HadoopHDFS的ErasuceCode存储策略在保证了数据安全性的同时，减少了存储空间的占用，对企业减少存储成本产生了巨大推力。随着Hadoop等分布式存储系统的进一步流行，ErasureCode存储策略的应用必将具有重大的意义和价值。关键词：云存储纠删码优化I华中科技大学硕士学位论文AbstractWiththedevelopmentoftheInternet,thedatastorageisbecomingmoreandmoreattention,howtoensurethesecurityofthedatainthespotlight,whichrequirest

7、hepresenceofthedistributeddatastoragesystemswithsafeandreliable,itspreadinformationorseveralstoragenodesinthenetwork,usersundersustainedeffectiveandhighlyreliablewaytoaccessinformation,evenifthesystemappearsacertainnodefailu