hadoop分布式文件系统的模型分析

《hadoop分布式文件系统的模型分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、万方数据研究与开发Hadoop分布式文件系统的模型分析王峰。雷葆华(中国电信股份有限公司北京研究院北京100035)Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的，受到r业界极大关注，并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究，本文从Hadoop分布式文件系统架构的建模人手．通过对模型各组成部分进行分析．并将其与传统的分布式文件系统进行比较。总结出Hadoop分布式文件系统具有的海量、高可扩展性、高可靠性、高性能等面向云计算领域应用的霞要特征。本文有助于研究者系统、深入地研究Hadoop分布式文件系统的设计与实现。并为云计算背景下的分布式文件

2、系统设计提供雨要的参考。关键词Hadoop分布式文件系统；系统模型；云计算1引言Hadoop分布式文件系统(}Iadoopdistributedmesystem，’国家高技术研究发展专项经费资助项目(No．2008AA01A317·3)HDFS)删f高可靠性和高可扩展性的分布式文件系统．能够提供海量的文件存储能力lll。它的开发和实现遵循了C,oosle文件系统(Googlefdesystem，GFS)的核心原理，而GFS作为Goosle云计算核心技术体系的底层，为相关技术f如MapReduee分布式计算模型、Bigtable分布式数据库2008．K-INGN2008．Firstn-U．TK

3、aleidoscopeAcademic2Conference,2008刘伟彦．张顺颐．下一代阿络中基于遗传算法的QoS组播路由算法．电子与信息学报．2006，28(il)：2157-2161ResearchontheServiceAwareModelofNGNesearcllOnervice-areArchitectureandKeyTechnologiesRaoXian91，ZhangShunYi’，ZhouYun2(1．NanjingUniversityofPostsandTelecommunication，Nanjing210003，China；2．NanjingUniversityo

4、fFinance&Economics，Nanjing210046，China)AbstractBybuildingaintelligentNGNService·awaremodel，proposingaQoScontrolandmanagementarchitectureofNGNdataflow。thispaperpresentsaapproachforthekeytechnologiesofmulti—servicestransport，serviceidentification，QoScontrolandmanagementappliedinthedesignandimplementa

5、tionofNGN．Keywordsnextgenerationnetwork，service-aware，QoScontrol(收稿日期：2010—10一tS)“95万方数据研究与开发表1分布式文件系统的透明性需求需求描述访问透明用户程序不必考虑文件的分布问题．能够通过完全相同的编程接U对本地文件和远程文件进行访问和操作位置透明用户程序能够看到统一的文件名字空间，对文件进行访问的路径名与其在远程服务器中的存放位置无关移动透明用户程序无需关心文件的存放位置发生移动所产生的影响．这一需求的满足与位置透明性的实现相美性能透明用户程序始终能够获得高效的文件访问能力，即使远程服务器上的文件服务负载在

6、一定范围内发生了变化扩展透明用户程序导致的文件服务需求的增大或者网络规模的扩张等问题．能够通过系统的自动扩展得剑有效的解决等)的实现提供了有效的支撑。同样，HDfs本身以及以它为基础的一系列开源软件技术的研究和开发，已被业界广泛应用到云计算的具体实践中．获得了非常好的效果。当前．针对HDFS的研究普遍关注其具体的技术细节和实施效果．尚缺乏对其进行系统设计理论上的分析和比较。本文从模型分析的角度人手．首先介绍在业界获得普遍认同的分布式文件系统的用户需求和架构模型．然后针对HDFS的体系架构进行特征描述和建模分析，最后将HDFS与传统的分布式文件系统进行比较．总结了HDFS在云计算领域中应用的优

7、势及存在的问题。并对其设计和应用提出建议。2分布式文件系统模型分布式文件系统是分布式系统的关键技术之一，能够三霸三。文件数据块客户磺以文件的方式实现信息资源的共享。在云计算环境中，分布式文件系统承担着为用户提供文件服务的重任，它要保证用户在访问、保存在云中的文件时能够获得接近甚至在某些方面超出其在使用本地磁盘时的服务质量(包括性能、可靠性等)。分布式文件系统通过网络为用户提供远程文件服务，它的设计目标是要使得