基于对象的OpenXML复合文件去重方法研究-论文.pdf

《基于对象的OpenXML复合文件去重方法研究-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、计算机研究与发展DOI：10．7544／issnl000—1239．2015．20140093JournalofComputerResearchandDevelopment52(7)：1546—1557，2015基于对象的OpenXML复合文件去重方法研究阎芳李元章张全新谭毓安(北京理工大学计算机学院北京100086)(北京物资学院信息学院北京101149)(yfjo~r@163．corn)object—BasedDataDe—DuplicationMethodforOpenXMLCompoundFilesYanFang，LiYuanzhang，ZhangQuanxin，andTanYu’

2、an(SchoolofComputerScience~'Technology，BeijingInstituteofTechnology，Beijing100086)(SchooloJ、Information，BeijingWuziUniversity，Beijing101149)AbstractContentdefinedchunking(CDC)isaprevalentdatade—duplicationalgorithmforremovingredundantdatasegmentsinstoragesystems．CurrentresearchesonCDCdonotconsider

3、theuniquecontentcharacteristicofdifferentfiletypes，andtheydeterminechunkboundariesinarandomwayandapplyasinglestrategyforallthefiletypes．Ithasbeenproventhatsuchmethodissuitablefortextandsimplecontents，anditdoesn’tachievetheoptimalperformanceforcompoundfiles．Compoundfileiscomposedofunstructureddata，

4、usuallyoccupyinglargestoragespaceandcontainingmultimediadata．Object—baseddatade—duplicationiSthecurrentmostadvancedmethodandiStheeffectivesolutionfordetectingduplicatedataforsuchfiles．WeanalyzethecontentcharacteristicofOpenXMIfilesanddevelopanobjectextractionmethod．Ade—duplicationgranularitydeterm

5、iningalgorithmbasedontheobjectstructureanddistributionisproposedduringthisprocess．Thepurposeistoeffectivelydetectthesameobjectsinafileorbetweenthedifferentfiles，andtobeeffectivelyde—duplicatedwhenthefilephysicallayoutischangedforcompoundfiles．Throughthesimulationexperimentswithtypicalunstructuredd

6、atacollection，theefficiencyispromotedby10comparedwithCDCmethodintheunstructureddataingenera1．Keywordscontentdefinedchunking(CDC)；object；unstructureddata；OpenXMIstandard；compoundfile；datade—duplication摘要现有的重复数据删除技术大部分是基于变长分块(contentdefinedchunking，CDC)算法的，不考虑不同文件类型的内容特征．这种方法以一种随机的方式确定分块边界并应用于所有文件类型

7、，已经证明其非常适合于文本和简单内容，而不适合非结构化数据构成的复合文件．分析了OpenXML标准的复合文件属性，给出了对象提取的基本方法，并提出基于对象分布和对象结构的去重粒度确定算法．目的是对于非结构化数据构成的复合文件，有效地检测不同文件中和同一文件不同位置的相同对象，在文件物理布局改变时也能够有效去重．通过对典型的非结构化数据集合的模拟实验表明，在综合情况下，对象重复数据删除比CDC方法提高了10左右的非结构化数