云计算平台比较

《云计算平台比较》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、云计算平台研究三种平台子项目对照表子项目HadoopOpenStackAmazon网络管理Nova-network数据管理HBaseNova-databaseSimpleDB计算Map/ReduceNova-computeEC2存储HDFSObject-storeS3消息管理QueueSQ3镜像管理GlanceAMI同步管理ZookeeperNtp监控管理Chukwa1.Hadoop平台研究1.1Hadoop架构在Google发表MapReduce后，2004年开源社群用Java搭建出一套Hadoop框架，

2、用于实现MapReduce算法，能够把应用程序分割成许多很小的工作单元，每个单元可以在任何集群节点上执行或重复执行。此外，Hadoop还提供一个分布式文件系统GFS（Googlefilesystem），是一个可扩展、结构化、具备日志的分布式文件系统，支持大型、分布式大数据量的读写操作，其容错性较强。而分布式数据库（BigTable）是一个有序、稀疏、多维度的映射表，有良好的伸缩性和高可用性，用来将数据存储或部署到各个计算节点上。Hadoop框架具有高容错性及对数据读写的高吞吐率，能自动处理失败节点，如图3-

3、5所示为GoogleHadoop架构。在架构中MapReduceAPI提供Map和Reduce处理、GFS分布式文件系统和BigTable分布式数据库提供数据存取。基于Hadoop可以非常轻松和方便完成处理海量数据的分布式并行程序，并运行于大规模集群上。图3-3 Google Hadoop架构Hadoop有许多元素构成。最底部是HadoopDistributedFileSystem(HDFS)，它存储Hadoop集群中所有存储节点上的文件。HDFS的上一层是MapReduce引擎，该引擎由JobTracke

4、r和TaskTracker组成。HDFS和MapReduce的关系如图3-4所示：图3-4HDFS和MapReduce的关系图MapReduce是依赖于HDFS实现的。通常MapReduce会将被计算的数据分为很多小块，HDFS会将每个块复制若干份以确保系统的可靠性，同时它按照一定的规则将数据块放置在集群中的不同机器上，以便MapReduce在数据宿主机器上进行最便捷的计算。1.2Hadoop分布式文件系统对客户机而言，HDFS(HadoopDistributedFileSystem)就像一个透明的传统分级

5、文件系统，可以创建、删除、移动或重命名文件等等传统意义上的文件系统操作。HDFS的基本体系结构如图3-5所示：图3-5HDFS的基本体系结构图如图3-5存储在HDFS中的文件被分成块，并被复制到多个节点中(DataNode)。这与传统的RAID架构大不相同。块的大小(默认为64MB)和作为冗余(Replication)的块数量在创建文件时由用户定制。NameNode作为中心控制节点对所有文件操作进行控制。NameNode运行在一个单独的节点上，其负责管理文件系统名称空间和控制用户的访问。NameNode并不

6、处理系统运行中实际的数据流，而只处理表示DataNode数据块的元数据。当任务节点需要处理某个数据块时，则先访问NameNode获得该数据块的存储位置后，就可以到存储该数据块的DataNode对该数据块进行读取，修改，删除等操作，并将这些操作信息返回NameNode，更新该数据块的信息。在HDFS中，默认设置一个SecondaryNameNode作为NameNode的备份节点，系统运行将HDFS的存储元数据备份到SecondaryNameNode。当NameNode出现异常和错误的时候，启动Secondar

7、yNameNode成为新的NameNode。Hadoop集群包含一个中心控制节点NameNode，以及大量负责存储数据的工作节点DataNode。DataNode响应来自用户系统的读写请求，还响应创建、删除和复制来自NameNode的块命令。NameNode中维护着每个DataNode的在线状态，而DataNode向NameNode发生定期心跳消息(Heartbeat)维护自己在NameNode中的在线。而心跳消息中还包含一个块报告，NameNode可以根据这个报告验证块映射和其他文件系统元数据。如果Nam

8、eNode没有收到DataNode发送的心跳消息，NameNode将采取修复措施，重新复制在该节点上丢失的块。1.3基于Hadoop的MapReduce实现Hadoop的MapReduce框架是基于GoogleMapReduce程序设计框架的原理实现的。Hadoop的MapReduce框架的基本体系结构如图3-6Error!Referencesourcenotfound.所示，Hadoop的MapReduce框架