基于hadoop 分布式文件系统的模型分析

《基于hadoop 分布式文件系统的模型分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Hadoop分布式文件系统的模型分析　　摘要：Hadoop分布式文件系统利用Google文件系统的原理开发和设计的，并在相关的一些领域得到了应用，在学界引起了极大的关注。本文将从Hadoop分布式文件系统架构的入手，通过对模型各模块进行分析，并将其与传统的分布式文件系统进行比较，总结出Hadoop分布式文件系统具有的海量、可靠性高、可扩展性、容错性能好、低成本等面向云计算领域的重要优势。Hadoop能为用户提供一个可以轻松使用的分布式计算平台，使用户可以轻松地在该平台上开发应用程序并能够处理海量数据，本文通过对布式文件系统的模型分析将有助于云计

2、算背景下的分布式文件系统设计与开发。　　关键词：基于Hadoop分布式文件系统；系统模型；云计算　　中图分类号：TP311文献标识码：A文章编号：1009-3044（2016）17-0229-02　　Abstract：HadoopdistributedfilesystemusingtheprincipleofGooglefilesystemdevelopmentanddesign，andrelatedtosomeareashavebeenapplied，sointheacademiccommunityhasarousedgreatconcern.I

3、nthispaper，Hadoopdistributedfilesystemarchitecturefromthestart，througheachmoduleofthemodelwereanalyzedandcomparedwiththetraditionaldistributedfilesystem，sumsuptheHadoopdistributedfilesystemwithmassive，high9reliabilityandexpansion，goodfaulttoleranceperformanceandlowcostforCloud

4、Computinginthefieldofimportantadvantages.Hadoopcanfortheusertoprovideacaneasilyusethedistributedcomputingplatform，userscaneasilyontheplatformapplicationdevelopmentandbeabletohandlemassiveamountsofdata.Inthispaper，themodelanalysisofdistributedfilesystemwillbehelpfultocloudcompu

5、tingunderthebackgroundofdistributedthesystemdesignanddevelopment.　　Keywords：distributedfilesystembasedonHadoop；systemmodel；cloudcomputing　　Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统根据Google公司发表的MapReduce和Google档案系统的论文自行而成。Hadoop主要由HDFS（HadoopDistributedFileSystem）和MapReduce两部分

6、组成。HDFS在最底部它主要是用来存储Hadoop集群中存储节点上的文件，为海量的数据提供存储。MapReduce在HDFS的上一层由概念"Map（映射）"和"Reduce（归约）"组成，主要是用于大规模数据集的并行运算，为海量的数据提供了计算。　　Hadoop对数据采取可靠、高效、可伸缩的分布式方式进行并行处理，使开发软件平台和运行海量数据变得更加容易。Hadoop是一个分布式计算框架并且由Apache9开源组织的，能使一些低成本的硬件设备得到充分利用并且在它们组成的集群上运行应用程序，为应用程序提供了一组稳定可靠的接口，目的在于构建可靠性高和扩

7、展性比较好的并行分布式系统。Hadoop有以下优点：扩展性好、成本廉价、效率较高、可靠性有保障、免费开源并且有良好的可移植性。　　1分布式文件系统模型　　分布式文件系统作为分布式系统中的关键技术，它最大的作用就是使信息资源共享，它采取以文件的方式把文件集中在一起管理，使文件资源达到共享的目的。在云计算环境中，分布式文件系统和本地磁盘提供的服务相比，它能使用户在查看、保存在云中的文件时能够获得更高的服务质量，使系统性更加可靠从而为用户带来良好的文件服务。　　用户对远程文件的访问的服务质量能否满足是分布式文件系统的透明性需求的要求。可靠性高、良好的可用

8、性，能够并发快速的访问文件等一些其他的设计要求也要满足，并且使文件得数据具有一致性和容错性等。针对以上的设计要求，设计出由