重复数据删除技术的研究与实现

《重复数据删除技术的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华中科技大学硕士学位论文摘要随着信息数字化的快速发展与生产力的突飞猛进，当今企业对信息的存储需求也在飞速增长。尽管存储设备的销售价格在不断地下降，但远远赶不上企业内部产生和需要保存数据的攀升速度。重复数据删除技术能够删除重复的数据，实现数据的唯一实例存储，将有望解决该问题。该技术一般应用在备份、归档等集中式数据存储的系统中，能有效地节省存储空间和网络的传输带宽。目前，对文件或数据流中重复数据的查找效率始终是重复数据删除技术应用的瓶颈，为此重点对提高重复数据的查找效率进行了研究，并将重复数据删除技术融合到数据备份领域实现了高效的、稳定的数据容灾备份系统，它可以为数

2、据提供安全的存储服务。该系统运用了多项技术来提高数据的备份和恢复性能：元数据的多级查询机制、数据缓存机制和多线程技术。元数据的多级查询机制通过使用全局BloomFilter、二级索引缓存和磁盘哈希表来提高对重复数据的查找速度；数据缓存机制则通过对数据块的内存缓冲，可以避免对磁盘频繁的I/O操作；多线程技术可以提高系统的并发处理能力，从而在整体上提升系统的性能。测试表明，提出的重复数据删除技术能有效地提高备份和恢复性能，同时，能极大的减少冗余数据的存储，节省存储空间，提高备份容灾系统的存储效率。关键词：重复数据删除，哈希算法，备份，元数据组织I华中科技大学硕士学位

3、论文AbstractWiththerapiddevelopmentofdigitalinformationandproductivity,Enterprisedemandsforinformationstoragearealsogrowingrapidly.Althoughthepriceofthestoragedeviceisdecliningallthetime,itcannotcatchupwiththespeedofthenewdataproduction.De-duplicationisoneofthehottesttechnologiesbecaus

4、eofitsabilitytoexamineadatasetandstoreonlyuniquedata,De-duplicationtechnologyisexpectedtochangethissituation.De-duplicationcansavethestoragespaceandthenetworkbandwidthsignificantlywhenitisusedinthebackup,archivingandothercentralizedstoragesystems.Atpresent,thespeedofexaminingredundan

5、tdataisalwaysthebottleneckofde-duplicationtechnology.Forthisreason,theresearchisfocusonpromotingthespeedofexaminingredundantdata,andapplyingde-duplicationtechnologytothedomainofbackupinordertoachievehighlyefficientandstablebackupsystem,soastoprovidesecurestorageservicesfordata.Thissy

6、stemisusedseveraltechnologiestoimprovetheefficiencyofbackupandrecovery,suchasmulti-levelquerymechanismofmetadata,datacachemechanismandmulti-threadtechnology.Multi-levelquerymechanismusesglobal-basedbloomfilter,doubleindexcacheanddiskindextopromotethespeedofexaminingredundantdata.Data

7、cachemechanismcanavoidfrequentdiskI/Ooperations.Multi-threadtechnologycanimprovetheparallelprocessingabilityofthesystem,soastoimprovetheoverallperformance.Operationofthesystemresultsshowsthattheapplicationofdatade-duplicationtechnologycanefficientlyimprovetheperformanceofbackupandrec

8、overy,andgre