欢迎来到天天文库
浏览记录
ID:53029025
大小:763.77 KB
页数:12页
时间:2020-04-14
《基于对象的OpenXML复合文件去重方法研究-论文.pdf》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、计算机研究与发展DOI:10.7544/issnl000—1239.2015.20140093JournalofComputerResearchandDevelopment52(7):1546—1557,2015基于对象的OpenXML复合文件去重方法研究阎芳李元章张全新谭毓安(北京理工大学计算机学院北京100086)(北京物资学院信息学院北京101149)(yfjo~r@163.corn)object—BasedDataDe—DuplicationMethodforOpenXMLCompoundFilesYanFang,LiYuanzhang,ZhangQuanxin,andTanYu’
2、an(SchoolofComputerScience~'Technology,BeijingInstituteofTechnology,Beijing100086)(SchooloJ、Information,BeijingWuziUniversity,Beijing101149)AbstractContentdefinedchunking(CDC)isaprevalentdatade—duplicationalgorithmforremovingredundantdatasegmentsinstoragesystems.CurrentresearchesonCDCdonotconsider
3、theuniquecontentcharacteristicofdifferentfiletypes,andtheydeterminechunkboundariesinarandomwayandapplyasinglestrategyforallthefiletypes.Ithasbeenproventhatsuchmethodissuitablefortextandsimplecontents,anditdoesn’tachievetheoptimalperformanceforcompoundfiles.Compoundfileiscomposedofunstructureddata,
4、usuallyoccupyinglargestoragespaceandcontainingmultimediadata.Object—baseddatade—duplicationiSthecurrentmostadvancedmethodandiStheeffectivesolutionfordetectingduplicatedataforsuchfiles.WeanalyzethecontentcharacteristicofOpenXMIfilesanddevelopanobjectextractionmethod.Ade—duplicationgranularitydeterm
5、iningalgorithmbasedontheobjectstructureanddistributionisproposedduringthisprocess.Thepurposeistoeffectivelydetectthesameobjectsinafileorbetweenthedifferentfiles,andtobeeffectivelyde—duplicatedwhenthefilephysicallayoutischangedforcompoundfiles.Throughthesimulationexperimentswithtypicalunstructuredd
6、atacollection,theefficiencyispromotedby10comparedwithCDCmethodintheunstructureddataingenera1.Keywordscontentdefinedchunking(CDC);object;unstructureddata;OpenXMIstandard;compoundfile;datade—duplication摘要现有的重复数据删除技术大部分是基于变长分块(contentdefinedchunking,CDC)算法的,不考虑不同文件类型的内容特征.这种方法以一种随机的方式确定分块边界并应用于所有文件类型
7、,已经证明其非常适合于文本和简单内容,而不适合非结构化数据构成的复合文件.分析了OpenXML标准的复合文件属性,给出了对象提取的基本方法,并提出基于对象分布和对象结构的去重粒度确定算法.目的是对于非结构化数据构成的复合文件,有效地检测不同文件中和同一文件不同位置的相同对象,在文件物理布局改变时也能够有效去重.通过对典型的非结构化数据集合的模拟实验表明,在综合情况下,对象重复数据删除比CDC方法提高了10左右的非结构化数
此文档下载收益归作者所有