基于云存储的重复数据删除文件系统设计与实现

《基于云存储的重复数据删除文件系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、分类号学校代码10487学号密级M201172630硕士学位论文基于云存储的重复数据删除文件系统设计与实现学位申请人：石俊杰学科专业：计算机技术指导教师：万继光答辩日期：2013.5.27副教授AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringTheDesignandImplementationofaDe-duplicationFileSystemBasedonCloudStorageCandidateMajorSupervisor:

2、ShiJunjie:ComputerTechnology:Assoc.Prof.WanJiguangHuazhongUniversityofScience&TechnologyWuhan,Hubei430074,P.R.ChinaMay,2013独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学

3、位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本论文属于保密□，不保密□。在年解密后适用本授权书。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要随着在线存储需求量的增长，各大云存储公司开始计费模式的探索，只有付费才能获得更好的服务,

4、免费的云存储空间已经不能满足用户的需求，云存储的成本问题已经开始影响用户的工作生活。针对上述问题，提出了一种基于云存储的重复数据删除文件系统。该系统是一个具有云存储增量同步的用户端文件系统，采用重复数据删除技术，自动将用户的本地数据无冗余上传到云端。系统由六个模块构成，用户接口模块接收从Fuse内核空间传递过来的系统请求，调用相关模块完成响应。云端同步模块利用云存储开放接口，配合系统各模块进行本地与云端数据同步。文件管理模块从云端获取文件列表，建立文件索引节点，对文件进行组织管理。文件操作模块处理系统读写请求。数据重删模块在源端进行重复数据删除，该模块采用基于内

5、容的变长切分算法，使用一个长度固定的滑动窗口对文件数据计算指纹，如果指纹模一个特定的整数等于预定的数值，就把窗口位置作为块的边界，若出现指纹相同的块则认为重复。将去重后的文件和记录数据块信息的元数据表上传到云端。垃圾回收模块在系统卸载时，回收不用的表和冗余的数据文件。利用多版本内核文件和虚拟机文件，对系统进行重复数据删除压缩比测试。结果表明，在大规模文档数据中，去重率最高达到67%。以阿里云平台计费标准核算，1TB用户数据理论上能够节省4391元/年。关键词：重复数据删除，云存储，文件系统I华中科技大学硕士学位论文AbstractAsthedemandforon

6、linestorageservicesincreases,thecloudstoragecompaniesbegintoexplorethebillingmodel.Thebetterserviceyouget,themoremoneyyoushouldspend.Freecloudstoragespacehasbeenunabletomeettheneedsofusers.Thecostofcloudstorageisbeginningtoaffecttheuser'slife.Aimingatthisproblem,ade-duplicationfiless

7、ystembasedoncloudstorageisproposed.Thesystemisacloudstorageincrementalsynchronizationclientfilesystem,thede-duplicationtechnologyhasbeenusedinthesystem,thelocaldatathatwithoutredundantwillbeuploadedtothecloudstorageautomatically.Thesystemconsistsofsixmodules,theuserinterfacemodulerec

8、eivethesyste