资源描述：
《在线重复数据删除技术的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、摘要随着信息化建设的不断深入，企业数据信息量呈几何级数增长。信息量的不断扩张带来以下两个问题：一是存在着大量的重复数据，导致存储空间的大量浪费，企业的存储成本提高；二是高访问量使得磁盘存储设备逐渐成为数据中心的访问性能瓶。针对上述问题，通过对重复数据删除技术的研究，以及对固态硬盘性能和特性的调研，提出了一种基于iSCSI平台的分级存储技术与重复数据删除技术相结合的存储系统。首先，深入研究了重复数据删除技术，采用了基于散列的重复数据删除方式，实现了以下基本功能：指纹计算、指纹检索、指纹索引表管理；为了弥补重复数据删除对系统带来的性
2、能损失，提出了“内存—固态盘—磁盘”分级存储系统，用固态盘充当二级缓存，利用其读写性能好、容量大、非易失性等特点，提高系统整体性能；通过虚拟空间映射功能，将服务器物理磁盘虚拟为一个较大的虚拟盘，然后按分区映射给多个客户端，实现单服务器---多客户端功能。然后针对重复数据删除功能中指纹检索性能瓶颈，进行了专门的算法优化。首先提出了基于布隆过滤的检索过滤算法，过滤掉大量不必要的指纹检索请求；然后实现了指纹索引表“内存—固态盘”分级存储策略，充分利用固态盘较好的读性能，避免索引表存储到磁盘，产生磁盘访问性能瓶颈。最后，对分级重复数据删
3、除系统进行了相关测试。首先对系统进行了性能对比测试，结果表明，重复数据删除功能由于计算量较大，会带来一定的性能损失，但与分级存储技术相结合之后，整体性能反而有一定的提升；然后对重复数据删除的压缩比进行了测试，结果表明，重复数据删除技术对于信息重复度较高的应用环境，如文档应用，具有较好的压缩效果；最后对指纹检索过滤算法进行了测试，其过滤率和误判率都达到了预期效果。关键词：重复数据删除，分级存储，指纹检索优化IAbstractWiththedeepeningofinformationtechnology,enterprisedata
4、amountofinformationgrowingexponentially.Itbroughtthefollowingtwoquestions:First,therearelotsofduplicatedata,resultinginsubstantialwasteofstoragespace,raisingthecostofenterprisestorage;Second,high-trafficmakesthediskstoragedevicetoaccessthedatacenterhasbecometheperfor
5、manceBottles.Inresponsetotheseproblems,proposedastoragesystemmodelbasedontheiSCSIplatformwiththecombinationofde-duplicationandHierarchicalStoragetechnology.First,in-depthstudyofthedatade-duplicationtechnology,usingahash-basedde-duplicationwaystoachievethefollowingbas
6、icfeatures:fingerprintcalculation,fingerprintsearch,fingerprintindextablemanagement.ThenHierarchicalStorageof“DRAM-SSD-DISK”technologywasproposed.Solid-statediskisthesystemofsecondarycache.Usingofitsgoodperformance,largecapacity,non-volatilememorytoimproveoverallsyst
7、emperformance.Throughvirtualspacemappingfunction,thephysicaldiskisavirtualintoalargervirtualdisk.Bymappingthevirtualdiskbypartitioningtomultipleclients,toachievesingleserver-multipleclientsfunction.Second,optimizedthefingerprintsearchalgorithmofde-duplication,whichis
8、oneofperformancebottlenecks.FirstproposedBloomfilter-basedsearchfilteringalgorithmanditcanfilteroutalotofunnecessaryfingerprintsear
