[HiC]CloverANameNodeClusterVersionofHDFS(马灿).pdf

《[HiC]CloverANameNodeClusterVersionofHDFS(马灿).pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Clover:ANameNodeClusterVersionofHDFS马灿中科院计算所集成应用中心HiC2011@12/2/2011HDFS中NN的问题现状单一NN冷启动过程缓慢，可用性低元数据服务的扩展性受制于CPU、内存和网络随着系统规模扩展，单节点服务压力大元数据服务的可用性单一故障点，需要外部HA组件HiC2011已有的NN改进方法HDFSFederation多个NN，分离独立的名字空间共享DN存储池x缺乏全局名字空间，互相共享数据困难HDFS-DNN使用HBase存储元数据x原型系统，无详细信息HDFS2分离名字空间与块管理分布

2、式文件管理，集中式名字空间x名字空间服务的扩展性受限，不支持目录renameHiC2011Clover的NNCluster方案分拆名字空间与块管理到集群上提供全局名字空间使用分布式日志确保mkdir,rename,delete等操作的一致性DN块汇报分流元数据共享存储池提供基于多副本的元数据高可靠存储在NN和BackupNode之间共享元数据文件支持分布式事务的日志高可用方法元数据集群的多机互相热备全局检查点，缩短冷启动时间HiC2011Bird's-eyeView/foo/bar/.../bar/.../fooShared,ReplicatedMe

3、tadataStoragePoolCheckpointerMetadataServerMetadataServerMetadataServerpsaOBackupNodeatadetMrtttClientorrportoepopreeperkrkrkckcccloooBlollBBBdaDataNodeDataNodeeRnatioReplicetireWitrWRack1Rack2ClientHiC2011CloverNameNodeClusterNN-1NN-kNN-n间空字名局全部分1部分k部分n储存靠复制复制可据数元数据共享存储池元NameNode块管理层理管、储

4、存块DataNodeDN1DNk块存储DNnHiC2011分布式名字空间全局目录表（集中式or分布式）存储所有目录到唯一ID(dir_uid)的映射关系基于目录的分布dir_uid→虚拟节点→物理节点支持目录的renameConsistentHashing//Node0CNode1ABλ:h(dir_uid)CBNode3ANode2HiC2011元数据文件的共享、可靠存储由NN集群构建共享存储池在文件级别自动复制一个local，多个remove三种文件访问模式FSImage→大块顺序读写Editlog→小粒度的追加写、大块读WAL→小粒度并发追加

5、写、并发读性能要求FSImage→高读写带宽→PipelineEditlog/WAL→低延迟→Synctolocaldisk+remotemem;AsynctoremotediskHiC2011基于共享存储的快速分布式事务cohortcoordinatorABCommit/AbortEndClientACDCEBDECheck&ResourceLockingGlobalLogEntryIn-memoryExecution&LocalCommitInSharedMetaStorePrepareMakeBcastGatherPrepareResultDecisionDe

6、cisionResult事务执行结果确认点HiC2011全局检查点外部检查点工具触发步骤全局Barrier同步所有的NN清空信道（Chandy-Lamport算法）所有的NN向Editlog写入Barrier标记外部检查点工具从共享存储池中读取每个NN的元数据文件合并FSImage和Editlog，直到遇到标记写回新的FSImageHiC2011多机间互相热备Node1NodekNodenA故ctiveActiveActiveNN1NNkNNn障写写写入入入请求基于社区的复制复制BackupNode方案元数据共享存储池取拉取取拉拉BackupBackupBa

7、ckupNNkNNnNN1应答HiC2011多机间互相热备假设节点年化故障率为，系统冷启动时间为THDFS双机热备单机故障，热备生效→故障率：；MTTR0双机故障，冷启动→故障率：2；MTTR=TClover热备（N节点）单机故障，热备生效→故障率：N；MTTR0双机故障，冷启动→故障率：N2；MTTR=T/N全系统故障→故障率：N；MTTR=T/N通过热备提高了系统的可用性，同时降低了系统平均故障恢复时间（冷启动时间）HiC2011Whoarewe?中科院计算所集成应用中心并行数据组王