Hadoop环境的搭建ppt课件.ppt

《Hadoop环境的搭建ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop环境的搭建主讲内容Hadoop项目简介搭建Hadoop的伪分布环境Hadoop常见命令Hadoop是什么?适合大数据的分布式存储与计算平台作者：DougCutting受Google三篇论文的启发版本Apache官方版本(1.1.2)Cloudera使用下载最多的版本，稳定，有商业支持，在Apache的基础上打上了一些patch。推荐使用。YahooYahoo内部使用的版本，发布过两次，已有的版本都放到了Apache上，后续不在继续发布，而是集中在Apache的版本上。Hadoop核心项目HDFS:HadoopDistr

2、ibutedFileSystem分布式文件系统MapReduce：并行计算框架HDFS的架构主从结构主节点，只有一个:namenode从节点，有很多个:datanodesnamenode负责：维护集群内的元数据，对外提供创建、打开、删除和重命名文件或目录的功能接收用户操作请求维护文件系统的目录结构管理文件与block之间关系，block与datanode之间关系datanode负责：存储数据，并提负责处理数据的读写请求存储文件文件被分成block存储在磁盘上为保证数据安全，文件会有多个副本DataNode定期向NameNode上报

3、心跳，NameNode通过响应心跳来控制DataNode。MapReduce的架构Map负责将数据打散，Reduce负责对数据进行聚集，用户只需要实现map和reduce两个接口，即可完成TB级数据的计算。MapReduce的实现也采用了Master/Slave结构。Master叫做JobTracker，而Slave叫做TaskTracker。用户提交的计算叫做Job，每一个Job会被划分成若干个Tasks。JobTracker负责Job和Tasks的调度，而TaskTracker负责执行Tasks。MapReduce的架构主从结

4、构主节点，只有一个:JobTracker从节点，有很多个:TaskTrackersJobTracker负责：接收客户提交的计算任务把计算任务分给TaskTrackers执行监控TaskTracker的执行情况TaskTrackers负责：执行JobTracker分配的计算任务9Hadoop的特点扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。高效率（Efficient）：通过分

5、发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。可靠性（Reliable）：hadoop能自动地维护数据的多份副本，并且在任务失败后能自动地重新部署（redeploy）计算任务。Hadoop集群的物理分布单节点物理结构Hadoop部署方式本地模式伪分布模式集群模式本地模式本地模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本

6、地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。伪分布模式伪分布模式是在一台机器上模拟分布式部署，方便学习和调试。集群模式集群模式是在多个机器上配置hadoop，是真正的“分布式”。安装前准备软件必备软件：VitualVox或vmwarecentosjdk-6u24-linux-xxx.binhadoop-1.1.2.tar.gz其他软件：Xfp4XShell伪分布模式安装步骤安装虚拟机软件创建一个虚拟机，安装linux操作系统设置

7、虚拟机的网络、修改ip安装Xfp4与Xshell修改hostname设置ssh自动登录安装jdk安装hadoop第一步：安装虚拟机软件VMwareVirtualBox安装VMware后打开第二步：创建虚拟机，安装linux点击该按钮第二步：创建虚拟机，安装linux第二步：创建虚拟机，安装linux第二步：创建虚拟机，安装linux第二步：创建虚拟机，安装linux第二步：创建虚拟机，安装linux第三步：设置虚拟机的网络、修改ip对虚拟机网络进行配置，以便于远程登录到虚拟机，方便文件的传输。VMWare提供了三种工作模式，它们是

8、bridged(桥接模式)、NAT(网络地址转换模式)和host-only(主机模式)第三步：设置虚拟机的网络、修改ip第三步：设置虚拟机的网络、修改ip第三步：设置虚拟机的网络、修改ip安装完VMwareworkstation之后，网络连接里会多