数字喷泉码及分布式文件备份技术研究

《数字喷泉码及分布式文件备份技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：TN911.2论文编号：102870416-SZ006学科分类号：085208硕士学位论文数字喷泉码及分布式文件备份技术研究研究生姓名程凯专业类别工程硕士专业领域电子与通信工程指导教师徐大专教授南京航空航天大学研究生院电子信息工程学院二О一六年三月NanjingUniversityofAeronauticsandAstronauticsTheGraduateSchoolCollegeofElectronicandInformationEngineeringResearchonDigitalFountainC

2、odesandtheDistributedFileSystemBackupTechnologyAThesisinElectronicsandCommunicationEngineeringbyChengKaiAdvisedbyProf.XuDaZhuanSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringMarch,2016承诺书本人声明所呈交的硕士学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中

3、特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京航空航天大学或其他教育机构的学位或证书而使用过的材料。本人授权南京航空航天大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本承诺书）作者签名：日期：南京航空航天大学全日制专业学位硕士学位论文摘要在大数据时代，全球产生的数据量增长速度跟摩尔定理相当,大约每两年翻一番。数据作为日渐重要的新型资产，吸引了学术界和工业界的广泛关注。分布式文件系统

4、，是存储行业技术和服务的一个重要创新和变革，它满足了众多用户对存储的低价、海量、安全和稳定的要求，让跨越时空的不同客户、不同应用、不同屏幕实现无缝信息分享和服务互动体验。LT码是第一种实用的数字喷泉码，其编译码算法非常简单，且编译码算法时间复杂度较低，将其运用在分布式文件备份系统中能够降低系统存储容量，但直接运用该方法会降低数据访问性能。在众多分布式文件系统中，因为HDFS部署在大量商用PC机上，具有高可靠性、可扩展性和廉价成本等优势，但HDFS的多副本策略给存储系统扩展造成了瓶颈。本文将LT码与HDFS备份优点结合起

5、来，提出基于LT码的HDFS动态副本存储策略，并从理论上验证动态副本存储策略的可靠性，最后在此基础上设计并实现基于LT码的HDFS云存储系统。本论文的主要工作及贡献包括以下几个方面：1.研究LT码的相关原理，包括度分布设计和编译码算法等。在此基础上，分析其在分布式文件备份上应用前景。阐述HDFS的基本特征，并指出HDFS备份的优缺点。最后，将LT码和HDFS在分布式文件备份上的优势结合起来，提出基于LT码的HDFS动态副本存储策略，并从上理论上验证动态副本存储策略的可靠性。2.根据云存储系统的需求分析，详细设计基于LT

6、码的HDFS云存储系统，包括云存储系统架构设计、客户端子系统设计、服务器子系统设计和HDFS集群子系统设计等。最后根据用户需求、系统架构和各个子系统，详细设计了数据库。3.根据云存储系统的详细设计，实现基于LT码的HDFS云存储系统。然后测试登录功能模块、备份功能模块和恢复功能模块，验证动态副本策略是否结合了LT码和HDFS在分布式文件备份上的优势。本文在研究LT码和HDFS的基础上，提出了基于LT码的HDFS动态副本存储策略，并据此实现了基于LT码的HDFS云存储系统，在纠删码和分布式文件系统两个方面均具有现实探索意

7、义。关键词：LT码，分布式文件备份，HDFS，动态副本，云存储i数字喷泉码及分布式文件备份技术研究ABSTRACTIntheeraofbigdata,theglobaldataisdoublinginsizeeverytwoyears，andtheincreasingrateissimilartoMooretheorem.Asincreasinglyimportantasset,datahasattractedwideattentioninacademiaandindustry.Thedistributedfilesy

8、stem,isanimportantinnovationandrevolutioninstorageindustrytechnologyandservice,whichmeetsalotofusers’storagerequirementsforalowprice,largeamount,safetyandstabilizatio