可扩展的分布式元数据管理系统设计.pdf

《可扩展的分布式元数据管理系统设计.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第41卷第5期计算机工程2015年5月Vo1．41No．5ComputerEngineeringMav2015·先进计算与数据处理·文章编号：1000．3428(2015)05．0026-07文献标识码：A中图分类号：TP311可扩展的分布式元数据管理系统设计黄秋兰，程耀东，杜然，陈刚(中国科学院高能物理研究所计算中心，北京100049)摘要：为解决高能物理海量存储系统由于存储规模不断扩大所面临的问题，设计一种分布式元数据管理系统，包括元数据管理、元数据服务、缓存服务以及监控信息采集4个部分，在此基础上提出自适应目录子树划分算法，以目录为粒度进行元数据划分，根据

2、集群负载情况调整目录子树，实现元数据信息在元数据集群中的合理存储和分布。实验结果证明，该算法能提高元数据的访问和检索性能，提供可扩展及动态负载均衡的元数据服务，以保证该元数据管理系统的可用性、扩展性及I／O性能不会因存储规模扩大而受到影响，满足高能物理实验日益增长的存储需求。关键词：元数据管理；动态；可扩展；元数据分布；Ceph文件系统；Gluster文件系统；Lustre文件系统中文引用格式：黄秋兰，程耀东，杜然，等．可扩展的分布式元数据管理系统设计[J]．计算机工程，2015，41(5)：26—32．37．英文引用格式：HuangQiulan，ChengYa

3、odong，DuRan，eta1．DesignofScalableDistributedMetadataManagementSystem[J]．ComputerEngineering，2015，41(5)：26—32，37．DesignofScalableDistributedMetadataManagementSystemHUANGQiulan，CHENGYaodong，DURan，CHENGang(ComputingCenter，InstituteofHighEnergyPhysics，ChineseAcademyofSciences，Beijing1000

4、49，China)【Abstract】Tosolvetheproblemscausedbythestorageexpandinginhighenergyphysicsmassstoragesystem，ascalabledistributedmetadatamanagementsystemisdesigned，whichincludesmetadatamanagement，metadataservice，cacheserviceandmonitoringinformationcollector．Basedonit，anewAdaptiveDirectorySub

5、—treePartition(ADSP)algorithmisproposed．ADSPdividesthefilesystemnamespaceintosub—treeswithdirectorygranularityandadjustssub—treesadaptivelyaccordingtotheloadofmetadataclusterforachievingthestorageanddistributionofmetadataincluster．Experimentalresultsshowthatthealgorithmcanimprovethem

6、etadataaccessandretrievalperformance，providesascalableanddynamicloadbalancingofmetadataservicetoensuretheavailability，scalabilityandI／Operformanceofmetadatamanagementsystemisnotaffectedbythestoragescale，therebyitcanmeetthegrowingstoragerequirementsofhighenergyphysicsexperiments．【Keyw

7、ords】metadatamanagement；dynamic；scalability；metadatadistribution；Cephfilesystem；Glusterfilesystem；LustrefilesystemDOI：10．3969／j．issn．1000—3428．2015．05．005高能物理实验规模的不断扩大和实验复杂性的不1概述断增加，高能物理实验数据将急剧增长，海量存储在大规模数据存储系统中，元数据描述了一个系统的元数据面临以下3个问题：(1)元数据的可文件系统的逻辑结构，如名字空间、文件和目录的扩展性；(2)元数据的检索和遍历性能；

8、(3)元数据属性及逻辑名