大数据集群配置过程_hadoop篇

《大数据集群配置过程_hadoop篇》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大数据集群配置过程_hadoop篇JDDC_SEED_BIGDATA2015-01-15修改历史修改日期担当者审阅人版本号新增2015-01-15孙云涛V1.01.概述本篇文档主要讲解hadoop的安装过程。Hadoop是安装hbase和hive的基础，即安装hbase和hive之前必须先安装hadoop并且hdfs和mapreduce必须都功能正常。因为hbase和hive其底层所使用都是应用hadoop的两个核心部分—hdfs和mapreduce。在安装hadoop之前需要考滤操作系统的版本（32位还是64位）以及hbase和hive的版本，否则会引

2、起jar包不支持而导致的jar包替换或jar包重新编译等问题。Hadoop、hbase、hive的版本匹配信息如下：由于我们所使用的操作系统centos6.5是32位，而且hadoop2.2.0是官方推荐的稳定版本，所以本次安装的hadoop是2.2.0版本，具体的安装方式和配置方式请参考本篇文档的正文部分。2.正文本次hadoop集群规模以及分布如下：主机IP主机名主机角色操作系统192.168.1.202hadoop02namenodeCentos6.5192.168.1.201hadoop01datanodeCentos6.5192.168.1.2

3、03hadoop03datanodeCentos6.5192.168.1.204hadoop04datanodeCentos6.5注意：datanode的数量要求是奇数，否则后继安装hbase时会报错。2.1操作系统安装每台主机都安装centos6.5,安装时可以用desktop方式进行安装，但是安装完成之后需要把启动模式改命令行模式，然后重新启动每台主机。修改启动模式需要修改/etc/inittab这个文件把id后面的数字改成32.2配置网络Hadoop集群中的第个主机节点需要配置成静态IP,配置IP时需要修改/etc/sysconfig/networ

4、k-scripts/ifcfg-eth0这个文件，修改内容如下（以namenode的文件为例）修改完成之后，需要运行servicenetworkrestart这个命令。其它各个datanode主机也需要按同样的方式对网络进行配置，三个datanode的IP分别为：192.168.1.201；192.168.1.203；192.168.1.204。网络配置完成之后要通过ping命令确认各主机之间是否能访问。2.3修改主机名由于hadoop集群，特别是hbase集群在各节点在通信过程中直接使用IP会出现问题，所以集群中每个节点主机要配置一个固定的主机名。1）

5、修改/etc/sysconfig/network这个文件Namenode节点：Datanode节点1：Datanode节点2：Datanode节点3：2）修改/etc/hosts文件注意默认127.0.0.1localhost后面会有其它内容，建意删掉，否则hadoop集群能正常启动运行，但使用hbase时会出现访问拒绝的情况。在namenode节点上修改完成/ect/hosts这个文件之后可以通过scp命令复制到各个datanode节点上。Scp命令示例：scp/etc/hosts192.168.1.201:/etcscp/etc/hosts192.1

6、68.1.203:/etcscp/etc/hosts192.168.1.204:/etc2.4配置ssh无密码登陆1）在namenode节点上执行命令ssh-keygen-trsa之后一路回车，查看刚生成的无密码钥对：cd.ssh后执行ll2、把id_rsa.pub追加到授权的key里面去。执行命令cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys3、修改权限：执行chmod600~/.ssh/authorized_keys4、确保cat/etc/ssh/sshd_config中存在如下内容RSAAuthentica

7、tionyesPubkeyAuthenticationyesAuthorizedKeysFile.ssh/authorized_keys如需修改，则在修改后执行重启SSH服务命令使其生效:servicesshdrestart5、将公钥复制到所有的datanode节点上scp~/.ssh/id_rsa.pub192.168.1.201:~/scp~/.ssh/id_rsa.pub192.168.1.203:~/scp~/.ssh/id_rsa.pub192.168.1.204:~/通过scp进行远程复制过程中会要求输入各节点的主机登录密码。6、在各data

8、node节点上创建.ssh文件夹:mkdir~/.ssh然后执行chmod700