Hadoop2.7.3完全分布式集群搭建和测试.pdf

《Hadoop2.7.3完全分布式集群搭建和测试.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Hadoop2.7.3完全分布式集群搭建和测试环境配置：虚拟机：vmwareworkstation12系统：ubuntu16.04LTS（推荐使用原版，不要用kylin）节点：192.168.159.132master192.168.159.134node1192.168.159.137node2jdk-8u101-Linux-x64.gz(Java)hadoop-2.7.3.tar.gz(Hadoop包)安装步骤：1、安装虚拟机系统，并进行准备工作（可安装一个然后克隆）2.修改各个虚拟机的hostn

2、ame和host3.创建用户组和用户4、配置虚拟机网络，使虚拟机系统之间以及和host主机之间可以通过相互ping通。5.安装jdk和配置环境变量，检查是否配置成功6、配置ssh，实现节点间的无密码登录sshnode1/2指令验证时候成功7、master配置hadoop，并将hadoop文件传输到node节点8、配置环境变量，并启动hadoop，检查是否安装成功，执行wordcount检查是否成功。1.安装虚拟机在VM上安装下载好的Ubuntu的系统，具体过程自行百度。可以安装完一个以后克隆，但是本人

3、安装过程中遇到很多问题，经常需要删除虚拟机，重新安装，而被克隆的虚拟机不能删除，所以本人就用了很长时候，一个一个安装。一共3台虚拟机：分配情况和IP地址如下：（注：查看ip地址的指令ifconfig）安装虚拟机时可以设置静态IP，因为过程中常常遇到网络连接问题,ifconfig找不到IPV4地址。当然，也可以不设，默认分配。参考http://blog.csdn.net/wolf_soul/article/details/46409323192.168.159.132master192.168.159.

4、134node1192.168.159.137node22.修改虚拟机的hostname和hosts文件以master上机器为例，打开终端，执行如下的操作，把hostname修改成master，hosts修改成如下所示的样子：#修改hostname的指令：sudogedit/etc/hostname#修改hosts指令：sudogedit/etc/hosts#将以下内容添加到hosts中192.168.159.132master192.168.159.134node1192.168.159.137no

5、de2如下图所示:同样地，在node1和node2机器上做相似的操作，分别更改主机名为node1和node2，然后把hosts文件更改和master一样。3.创建用户和用户组（三台机器上都要操作）1.创建hadoop用户组sudoaddgrouphadoop2.创建hadoop用户sudoadduser-ingrouphadoophadoop3.给hadoop用户添加权限，打开/etc/sudoers文件sudogedit/etc/sudoers按回车键后就会打开/etc/sudoers文件了，给ha

6、doop用户赋予root用户同样的权限在rootALL=(ALL:ALL)ALL下添加hadoopALL=(ALL:ALL)ALL4.检验各个主机之间能否连通分别以刚刚创建的hadoop用户重新登录系统，以后的操作都以hadoop用户登录。ping+主机名分别在各个主机上执行上述指令，看是否能与其他主机连通。出现下图代表能够连通：如果都成功ping通，进行下面的操作。5.安装jdk和配置环境变量分别在每台主机上安装jdk，并配置环境变量。（嫌麻烦的前面可以安装完jdk后再克隆）1）下载jdk安装包（自

7、行百度），并将安装包拖入到虚拟机当中2）通过cd命令进入到安装包的当前目录，利用如下命令进行解压缩。tar-zxvfjdk.....(安装包名称)3）利用如下命令将解压后的文件夹移到/usr目录下#注意，这样移动到/usr以后就没有jdk1.8...这个目录了，是将这个目录下的所有文件全部移动到/usr/java下，mvjdk1.8...(文件夹名称)/usr/java4）配置环境变量sudogedit/etc/profile在末尾加上四行：[plain]viewplaincopyprint?1.#j

8、ava2.exportJAVA_HOME=/usr/java3.exportJRE_HOME=/usr/java/jre4.exportCLASSPATH=$JAVA_HOME/lib5.exportPATH=:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin输入如下命令使配置生效：source/etc/profile查看配置是否成功，出现如上信息说明Java配置成功。6.配置SSH，实现节点间的无密码登录本人在这一步经常出错，莫名其