基于相似性的分布式文件系统在线去重方法研究

《基于相似性的分布式文件系统在线去重方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201172412学校代码10487密级硕士学位论文基于相似性的分布式文件系统在线去重方法研究学位申请人杜：鑫学科专业：计算机系统结构指导教师：陈俭喜讲师答辩日期：2014年1月21日万方数据AThesisSubmittedinPartialFulfillmentoftheRequirementsFortheDegreeofMasterofEngineeringTheStudyofSimilarityBasedInlineDeduplicationApproachforDistributedFileSystemCandidate:D

2、uXinMajor:ComputerArchitectureSupervisor:LecturerChenJianXiHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaJan.2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由

3、本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在________年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学硕士学位论文摘要目前，重复数据删除技术主要应

4、用于备份和归档系统中，该技术能够降低存储成本并提高系统吞吐量。近年来，在主存储系统中应用去重技术成为了一个热点研究方向。然而，目前最先进的适用于主存储的重复数据删除系统只提供离线的解决方案，离线意味着需要足够的时间窗口，额外的空间和能源开销。相对于离线方案，在线重复数据删除解决方案的最大挑战是，在综合考虑去重率，访问延迟，吞吐量和管理开销等多个指标后，达到一个可接受的综合性能。ProSy是一款以高精度的相似性判定算法为基础而构建的适用于分布式文件系统的在线重复数据删除系统。该系统可以达到可接受的综合性能，不会引入文件碎片，不需要文件布局信息，而

5、且它更可靠，因为它使用逐字节的比较代替了传统的指纹比较来保证数据的完整性。ProSy的主要思想是通过把首先把文件分割为等长的数据段，再把相似的数据段划归为一类，每一类都拥有自己的比较集，来尽量减少在去重时需要的比较集的大小。通过在真实的数据集上进行的实验评估，表明ProSy是可行的，它能达到令人满意的性能。与未安装ProSy之前的基准系统相比，安装ProSy后可以删除掉60%以上的潜在重复数据，降低了27％的延迟，CPU利用率为2.7%，写吞吐率降低了17%,读吞吐率提高了44%。关键词：主存储系统；在线重复数据删除；相似性I万方数据华中科技大

6、学硕士学位论文AbstractDatadeduplicationcanreducecostandenhancethroughputinbackupandarchivingsystems.Recently,itbecomesincreasinglypopulartoapplythistechniqueinprimarystoragesystems,wheredataisactivelyusedbyenterprisebusinessapplications.However,thestate-of-the-artdeduplicationsyste

7、msforprimarystorageonlyprovideofflinesolutions,whichrequiresufficienttime-window,additionalspaceandenergy.Thebiggestchallengeforaninlinededuplicationsolutionisthatitishardtoachieveacceptableperformanceintermsofdatadeduplicationratio,accesslatency,systemthroughputandmanagemen

8、toverheadanditrequireinformationoffilelayout.Inthispaper,weproposeahighaccu