云计算环境下文件元数据立方体的并行计算方法

《云计算环境下文件元数据立方体的并行计算方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号_M200972276_学校代码10487密级硕士学位论文云计算环境下文件元数据立方体的并行计算方法学位申请人：吕涛学科专业：计算机系统结构指导教师：华宇副教授答辩日期：2012-01-11AThesisSubmittedinPartialFulfillmentoftheRequirementsFortheDegreeofMasterofEngineeringParallelComputationforFileMetadataCubeinCloudComputingEnvironmentsCandidate:L

2、vTaoMajor:ComputerArchitectureSupervisor:Assoc.Prof.HuaYuHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaJan.11,2012独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到

3、本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在________年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论

4、文摘要随着云计算时代的到来，存储系统数据量的增长越来越快，数据管理变得非常困难。如何有效地从大规模存储系统中检索数据，如何有效地对海量数据实施差异性的分层存储将直接影响存储系统的整体性能。文件系统元数据提供了重要的文件特征信息，元数据的有效分析处理将能够对系统管理提供重要支持。在存储领域，文件元数据相关的研究一直广受关注。近几年来，提出了一系列高效的元数据查询方法，元数据的分析也越来越受关注。文件系统的统计信息，如文件大小分布、文件生命周期和用户的访问行为，可以对文件系统设计、元数据查询和存储管理提供直接的支持。数据立方

5、体模型广泛应用于数据库环境，是联机分析处理、决策支持和商务智能的重要工具。数据立方体可以从多个维度对数据进行全方位的统计和分析。利用数据立方体模型对文件系统元数据进行分析处理可以从多个角度反映文件系统的状态，为系统管理员做系统决策提供直接的支持。传统的数据立方体计算，属于I/O和CPU双密集型的任务，并且内存开销大。本文提出的元数据立方体(MD-CUBE)系统，采取数据压缩的方法有效缓解了数据立方体计算I/O密集和内存开销大的问题，并且利用基于多核的并行计算方法加速大规模存储系统元数据立方体的构建。通过收集分布式存储集群

6、中的数十个存储节点的文件系统元数据，构建元数据立方体。实验结果表明，元数据立方体可以高效而准确地展示文件系统的总体状态，为元数据查询、元数据挖掘、存储管理、系统状态分析提供全面的支持。关键词：文件元数据,数据立方体,存储管理,元数据挖掘I华中科技大学硕士学位论文AbstractAstheemergenceofcloudcomputing,therapidgrowthofthesizesofstoragesystemsleadstotheperformancebottleneckofdatamanagement.Howto

7、efficientlyretrieveinformationfromlargeamountsofdataandhowtostoredifferenttypesofdataintodevicesareimportanttotheperformanceofstoragesystems.Filemetadatademonstratethefeatureoffilesandcanbeusedtosupportsystemmanagement.Inthestoragecommunity,therelatedworkaboutmet

8、adatafocusesontheschemesofefficientmetadataqueries,whichsupportefficientmetadataanalysisandprocessing.Statisticalinformationoffilesystems,suchasfilesizedistrib