天地一体化网络中基于hdfs的元数据优化策略

《天地一体化网络中基于hdfs的元数据优化策略》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、天地一体化网络中基于HDFS的元数据优化策略王坤杨杨邱雪松北京邮电大学可信网络通信协同创新中心lladoop分亦式文件系统（IIDFS）是lladoop的核心之一，已经广泛应用于天地一体化网络数据的存储。但由于HDFS存储和管理的数据容量受限于命名节点（NameNode）的内存大小，其扩展性受到制约。针对NameNode管理元数据时存在的加载文件系统镜像（FSImage）时间过长、容量受内存大小限制等问题，提出将HDFS层级化的元数据结构调整为扁平化结构，并将元数据移出内存的优化思路，设计/基于口志结构合并树（Log-StructuredMerge-Tree，LSM）与内存映射文

2、件进行元数据管理的F-HDFS架构，并介绍了F-HDFS的元数据管理方式。通过E-HDES的原型系统与HDFS的对比实验，表明F-HDFS性能整体优于HDES,可提供稳定快速的元数据服务，能存储与管理超过HDFS5.3倍以上的数据。关键词：Hadoop;HDFS;元数据管理;扩展性;内存映射文件;基金：北京邮电大学可信网络通信协同创新中心预研基金项目MetadataOptimizationStrategyBasedonHDFSinIntegratedSpace-groundNetworkWANGKunYANGYangQIUXuesongCollaborativeInnovatio

3、nCenterofTrustedCyberCommunications,BeijingUniversityofPostsandTelecommunications;Abstract：Hadoopdistributedfilesystem(HDFS)isoneofthecoresofHadoop.Ithasbeenwidelyusedindatastorageofintegratedspaceandterrestrialinformationnetwork.However,thescalabilityofHDFSislimitedbythememorysizeoftheNameNo

4、de.Inordertosolvetheproblemoflongtimewhenloadingfilesystemmirror(FSTmage)toNameNodememoryandtheproblemofcapacityrestrictedbymemorysize，FHIDFSisdesignedbyadjustingtheHDEShierarchicalmetadatastructuretoflatstructureandmovingmetadataoutofmemory.ThedesignofF-HDFSisbasedonlogstructuredmergetreeand

5、memorymappedfiles.ThroughthecontrastexperimentofF-HDFSprototypesystemandHDFS,it’sprovedthattheperformanceofF-HDFSisbetterthanHDFSingeneral,anditcanprovidestableandfastmetadataservice,andcanstoreandmanagemorethan5.3timesmoredatathanHDFS.Keyword：Hadoop;HDFS;metadatamanagement;expansibi1ity;memo

6、rymappedfile;0引言大数据和云计算技术独有的无限扩展、随时获取的资源管理方式对于部队作战数据平台的建设将带来深刻影响与变革。足够高的、可靠的、低成本的、容易获取的带宽资源，是云计算和大数据产业发展的前提和棊础。但是在天地一体化网络中，由于通信、侦察、导航气象等多种功能的异构上星/上星网络、深空网络、空间飞行器以及地面有线和无线网络设施所产生的空、天、地、海等多维信息的海量性和安全性将对大数据平台的构建提出挑战。同时，带宽竞争所引发的数据同步过程中传输中断、网络延迟、内容丢失等问题将严重制约天地-•体化网络中大数据同步的效率。HADOOP因其具有高可靠性、高扩展性、高效

7、性、高容错性和低成本等优点，自推出以来在学术界得到了广泛的关注，同时得到了迅速的普及和应用。随着HADOOP的不断成熟，现已发展成为包含HBASE、HIVE,ZOOKEEPER,MA-HOUT等基本子系统的完整的大数据处理平台。在进行天地一体化网络数据的存储中，HDFS文件系统因其流式读写等特点，性能较为高效。与PVFSU1、MooseFSM和GFSM等分布式文件系统类似，HDFS也采用主从模式，在一个IIDFS集群屮有一个NameNode和多个DataNode,NameNode