细细品味hadoop_hadoop集群(第5期)_hadoop安装配置_转转大师

《细细品味hadoop_hadoop集群(第5期)_hadoop安装配置_转转大师》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Word文档下载可编辑细细品味Hadoop——Hadoop集群（第5期）精华集锦csAxp虾皮工作室http://www.cnblogs.com/xia520pi/2012年4月30日 专业技术资料Word文档下载可编辑创建时间：2012/2/26修改时间：2012/3/17修改次数：1Hadoop集群（第5期）——Hadoop安装配置1、集群部署介绍1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce

2、的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的

3、失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。1

4、.2环境说明集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，具体集群信息可以查看“Hadoop集群（第2期）”。节点IP地址分布如下：机器名称IP地址Master.Hadoop192.168.1.2192.168.1.3192.168.1.4192.168.1.5Salve1.HadoopSalve2.HadoopSalve3.Hadoop四个节点上均是CentOS6.0系统，并且有一个相同的用户hadoop。Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；3个Salve机器配置D

5、ataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行。其实应该还应该有1个Master机器，用来作为备用，以防止Master服务器宕机，还有一个备用马上启河北工业大学——软件工程与理论实验室编辑：虾皮1 专业技术资料Word文档下载可编辑创建时间：2012/2/26修改时间：2012/3/17修改次数：1用。后续经验积累一定阶段后补上一台备用Master机器。1.3网络配置Hadoop集群要按照1.2小节表格所示进行配置，我们在“Hadoop集群（第1期）”的CentOS6.0安装过程就按照提前规划好的主机名进行安装和配置。如果实验室后来人在安装系统时，没有

6、配置好，不要紧，没有必要重新安装，在安装完系统之后仍然可以根据后来的规划对机器的主机名进行修改。下面的例子我们将以Master机器为例，即主机名为“Master.Hadoop”，IP为“192.168.1.2”进行一些主机名配置的相关操作。其他的Slave机器以此为依据进行修改。1）查看当前机器名称用下面命令进行显示机器名称，如果跟规划的不一致，要按照下面进行修改。hostname上图中，用“hostname”查“Master”机器的名字为“Master.Hadoop”，与我们预先规划的一致。2）修改当前机器名称假定我们发现我们的机器的主机名不是我们想要的，通过对“/etc/sysc

7、onfig/network”文件修改其中“HOSTNAME”后面的值，改成我们规划的名称。这个“/etc/sysconfig/network”文件是定义hostname和是否利用网络的不接触网络设备的对系统全体定义的文件。设定形式：设定值=值“/etc/sysconfig/network”的设定项目如下：NETWORKING是否利用网络GATEWAY默认网关IPGATEWAYDEV默认网关的接口名HOSTNAME主机名DOMAIN域名用下面命令进行修改当前