云存储系统中重复数据删除机制的研究

《云存储系统中重复数据删除机制的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、，；疋＇，；１０２９３密级：单位代码＇，—４Ｉ、考此《像硕女讼嚇，－■■■＇Ｉ—．．‘＾巾－．‘，＾’■．：＇，Ｖｉ，－．＇１．１ｔ；．．．论文题目：云存储系统中重复数据删除机制的研究学号１２１３０４３０２２姓名涂黙导师徐小龙专业学位类别工程硕ｉ：类型全曰制专业（领域）计算机技术论文提交日期二零一六年二月：－＇ｖ．／．户－ｙ－＇。？产；

2、DataDeduplicationforCloudStorageSystemThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByTuQunSupervisor:Prof.XuXiaolongFebruary2016南京邮电大学学位论女原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加Ｌｉ标注和致谢的

3、地方外，论文中不包含其他人已经发表或撰写过的研巧成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意与我。一本人学位论文及涉及相关资料若有不实，愿意承担切相关的法律责任。次心本研究生签名：涂群日期：南京邮电大学学位论文使用授权声明本人授权南京邮电大学可１＾保留并向国家有关部口或机构送交论文的复印件和电子文档；允许论文被查阅和借阅；可＾旦将学位论文的全部或部分内容编入有关数据库进行检

4、索；可＾：１采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质一论文的内容相致。论文的公布（包括刊登）授权南京邮电大学研究生院办埋。涉密学位论文在解密后适用本授权书。：研究生签名：东群导师签名：關＿摘要随着云存储技术的迅速发展，越来越多的企业和用户倾向于将本地数据转移到云存储系统中进行存储。虽然云存储系统为用户提供了低成本、便捷的网络存储服务，但是数据规模的爆炸式增长对云存储系统造成的存储压力也与日俱增，特别是大量重复性的冗余数据浪费了大量的存储资源。重复

5、数据删除技术可以有效缩减存储系统中的冗余数据，但是现有的重复数据删除技术主要针对备份、归档系统等静态数据场景，并不完全适用于云存储系统。本文从云存储系统的经典体系架构方式出发，针对有中心云存储系统和无中心云存储系统的各自特点制定了较为完整的重复数据删除策略。对于有中心云存储系统，本文首先从客户端和元数据服务器对重复数据进行检测与避免，然后，针对存储端因多用户在线修改共享数据块和副本管理不当等原因产生的新重复数据块，提出基于数据块访问频率的延迟重复数据删除策略，考虑存储端的重复数据块是否为热点数据块。该方法

6、结合副本冗余的思想，对于热点重复数据块暂不删除并将其作为副本以分担系统当前的访问负担；对于非热点数据块从负载均衡的角度有选择地删除。最后，本文通过仿真实验证明了延迟重删策略在降低系统响应时间和负载均衡方面确实比传统重删策略要好。对于无中心云存储系统，本文首先从客户端对重复数据进行检测与避免，然后从路由表压缩和优化查找等角度改进Chord算法，并使用改进后的算法来构建存储端的逻辑网络，使得存储端查找数据指纹值的速度更快。最后，本文通过仿真实验证明了改进后的Chord算法在指纹值的比对次数和查找时间方面确实优

7、于原算法。此外，本文还构建了简单的有中心云存储重复数据删除系统和无中心云存储重复数据删除系统，给出了系统的体系架构和关键类图，并测试了系统重复数据删除的功能。关键词:云存储，重复数据删除，中心化结构，无中心化结构IAbstractWiththepopularityofcloudstorage,moreandmoreenterprisesanduserstendtotransferthelocaldatatothecloudstoragesystemsforstorage.Althoughcloudstor

8、agesystemscanprovidelow-costandconvenientnetworkstorageserviceforusers,thestoragepressureonthemcausedbytheexplosivegrowthofdataisgrowingbytheday,especiallyavastamountofredundantdatawasteplentyofstoragespace.Datadedu