重复数据删除系统的存储管理及其可靠性研究

《重复数据删除系统的存储管理及其可靠性研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、分类号_________学号M200972356学校代码10487密级硕士学位论文重复数据删除系统的存储管理及其可靠性研究学位申请人：王重韬学科专业：计算机系统结构指导教师：冯丹教授答辩日期：2012-01-11ThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchontheStorage-ManagementandReliabilityofaDe-duplicatedSystemCa

2、ndidate:WangZhongtaoMajor:ComputerArchitectureSupervisor:Prof.DanFengHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaJanuary,2012独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标

3、明。本人完全意识到，本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在________年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月

4、日华中科技大学硕士学位论文摘要随着社会信息化的建设，信息变得越来越重要，甚至成为社会各领域赖以生存的基础。人们可以使用数据备份系统来安全而有效地保护这些信息数据，但是，数据爆炸式的增长导致需要使用大量的存储设备来进行数据存储，从而提高了成本。重复数据删除技术可以有效地删除数据流中的重复数据，提高存储利用率，因而成为了一个研究热点。空间利用率和数据可靠性是存储系统需要考虑的两个重要的方面。重复数据删除技术虽然提高了存储利用率，但是却牺牲了数据的可靠性。在重复数据删除系统中，少量关键数据的丢失可能导致大量文件数据无法访问，从而造成不可估

5、量的损失。这是一个急需解决的问题。设计实现了一款具有可靠性保证的重复数据删除系统R_DS。R_DS系统使用Key-Value技术来改善指纹的检索效率，同时使用缓存技术来优化读写性能，从而大大地提高了重复数据删除的处理速度；R_DS系统使用Erasure-Codes技术，通过合理地设计编码格式，在较少影响存储利用率的情况下，提供高的数据可靠性，并可以在容错范围内，快速重建丢失数据。综合测试表明：R_DS系统具有非常高的备份和恢复效率，同时具有可观的重复数据删除率；R_DS系统可以实现满足需求的可靠性，可以同时重建多个设备的数据，并且具有很

6、高的数据重建速度。关键字：数据备份系统、重复数据删除、存储管理、可靠性I华中科技大学硕士学位论文AbstractWiththebuildingofinformationsociety,informationisbecomingmoreandmoreimportant,andevenhasbecomethebasisforsurvivalinallareas.Databackupsystemsareusedtoprotectinformationdatasafelyandeffectively,however,alotofdevicesw

7、hichincreasethecostareneededwiththeexplosivegrowthofdata.Becausede-duplicationcanincreasestorageutilizationwiththeduplicatedataremoved,itbecomesaresearchhotspot.Spaceefficiencyanddatareliabilityaretwoprimaryconcernsforstoragesystems.Unfortunately,de-duplicationimprovessp

8、aceefficiencyatthecostofdatareliability.Inade-duplicatedsystem,manyfilesmaynotbeaccessedwiththelossofaf