基于bloom filter的云存储文件去重方法研究与优化

《基于bloom filter的云存储文件去重方法研究与优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、＃為球＾乂ｆＳｏｕ化ＣｈｉｎａＵｎｉｖｅｒｓｉｔｏｆＴｅｃｈｎｏｌｏｙｇｙ硕±学位论文基于ＢｌｏｏｍＦｉｌｔｅｒ的云存储文件去重方法硏究与优化作者姓名林芙楠学科专业计算机科学与技术指导教师何克晶教授所在学院计算化科学与工程学院论文提交日期２０１６年４月TheStudyandImprovementofDeduplicationofFilesinCloudStorageBasedonBloomFilterADissertationSub

2、mittedfortheDegreeofMasterCandidate：LinFunanSupervisor：Prof.HeKejingSouthChinaUniversityofTechnologyGuangzhou,China分类号：TP3学校代号：10561学号：201320130006华南理工大学硕士学位论文基于BloomFilter的云存储文件去重方法研究与优化作者姓名：林芙楠指导教师姓名、职称：何克晶教授申请学位级别：硕士研究生学科专业名称：计算机科学与技术研究方向：网络与高性能计算论文

3、提交日期：2016年4月29日论文答辩日期：2016年6月3日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：李桂清委员：赵跃龙何克晶张见威罗荣华摘要目前，随着云存储的流行，以及用户的认知度的提高，越来越多的用户将数据上传于云盘，用于存储文件，能够方便地与他人分享文件或者在其它移动设备上下载，或者定期的将部分的个人数据备份于云存储中。因此，这造成了云存储上有大量的重复数据。如果将这些文件进行去重，将会使得云存储商减少存储文件的容量，在备份或者恢复数据时能够节约带宽与存储以及提高存

4、储效率与带宽效率，从而带来经济利益。因此，文件去重成为了云存储系统中并不可少的一部分。由于云存储的数据来源大多数是个人用户，因此云存储中的文件特点是随机性。无法预测下一个到达云端的文件是哪一个，大部分文件数据并不具有备份系统的数据源局部性的特点。根据云存储中数据源的特点，本文提出了一种基于BloomFilter的云存储去重方法。在分块阶段根据不同文件类型的特点，经过调研与实验，对不同文件类型分别采用了最有效的分块方式。在文件分块的索引阶段，在利用了文件的相似性原理的基础上，加入了BloomFilte

5、r过滤分块加快查找速度。并且由于不同的分块方式产生的分块查询开销不同，为了减少查询开销与时间，使用了差异化的BloomFilter。最终建立了内存哈希表——差异化BloomFilter——文件相似索引表的结构。在实验部分，本方法与一般实现方式中的非差异化BloomFilter实现方式进行比较，并且也同时与采用同样分块方式的AA-Dedupe算法与同样基于文件相似性原理的ExtremeBinning算法进行了对比，验证了本方法在性能方面的提升与优势。关键词：云存储；文件去重；差异化BloomFilte

6、r；IAbstractNowadays,withtheprevalenceofcloudstorageandmoreunderstandingsfrompeople,moreandmoreusersuploadfiledatatocloudstoragetostoragefiles,tosharewithotherdeviceorusersortobackupfilestermly.Itwillleadtoalargeamountofsamefilesonthecloudstorageifwitho

7、utanydeduplication.Deduplicationoffiledatareducesthememorynecessarytostoredata,andalsoreducestransmissionbandwidthwhenbackupfiledataincaseofbreakdown.Deduplicationbringseconomicbenefitsforenterprisesofcloudstorage.Sodeduplicationplaysanimportantroleinf

8、ilededuplicationincloudstorage.Inbackupsystem,becauseofthespeciallocalityandlittlemodificationoffiles,thefilesoftenreappearinthesameofverysimilarsequences.However,unlikebackupsystem,themaindatasourceofcloudstorageisthefiledatafromperson