Hadoop完全分布式搭建.doc

《Hadoop完全分布式搭建.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、完全分布式环境安装(完整亲测)一、安装linux系统Hadoop需要至少3个节点才能算是完全分布式环境，需要在虚拟机中安装3个linux操作系统，比较快速的方式是通过安装一个操作系统，再复制2个操作系统。这一步也可以在最后做，完全配置好一台linux系统环境之后再克隆，会节省一些时间，看个人的习惯。过程如下：1、使用VMware的克隆功能2、选择创建完成克隆3、输入主机名称，完成克隆操作。主机列表如下：主机名IP地址用途master192.168.1.101namenode、secondoryna

2、menode、jobtracker任务node1192.168.1.102slave结点node2192.168.1.103slave结点(冗余节点)二、配置每台机器IP地址最好配置每台机器的ip地址，否则每次开机地址都可能发生变化。通过ifconfig命令查看当前IP地址（因为我使用的是centerOS7.5所以显示eno16777736其实和eth0是一样的）修改IP地址登陆图形界面修改固定IP三、配置hosts文件三台机器都配置相同的hosts同时需要把主机名改掉四、增加Hadoop允许账号

3、[rootlocalhost~]#groupaddhadoop//添加组[rootlocalhost~]#useradd-s/bin/bashgrid-ghadoop-Groot//添加用户属于hadoop和root组[rootlocalhost~]#passwdgrid//添加密码更改用户grid的密码。新的密码：无效的密码：密码少于8个字符重新输入新的密码：passwd：所有的身份验证令牌已经成功更新。[rootlocalhost~]#su-grid//切换到grid用户[gridlocalh

4、ost~]$五、配置ssh免密码连入1、产生公共秘钥2、复制公共秘钥三台机器都执行3、需要把maste的公钥，写到node1和node2实现免密码登陆[gridnode2.ssh]$scpgridmaster:~/.ssh/id_dsa.pub./master_dsa.pub//把master的公钥复制到本地Theauthenticityofhost'master(192.168.0.100)'can'tbeestablished.ECDSAkeyfingerprintis38:f8:18:b1:

5、3c:e6:c6:a7:52:80:dc:97:3f:ba:de:35.Areyousureyouwanttocontinueconnecting(yes/no)?yesWarning:Permanentlyadded'master,192.168.0.100'(ECDSA)tothelistofknownhosts.gridmaster'spassword:id_dsa.pub100%6160.6KB/s00:00[gridnode2.ssh]$catmaster_dsa.pub>>author

6、ized_keys//master的公钥写入keys[gridnode2.ssh]$然后在master输入[gridmaster~]$sshnode1//首次会询问，退出之后再次连接不再询问五、下载并解压hadoop下载hadoop1.0.1版本使用解压缩命令解压缩[gridnode2~]$tar-xzvfhadoop-1.0.1.tar.gz六、配置namenode,修改site文件到目前为止，准备工作已经完成，下面开始修改hadoop的配置文件了，即各种site文件，文件存放在/hadoop/

7、conf下，主要配置core-site.xml、hdfs-site.xml、mapred-site.xml这三个文件。Core-site.xml配置如下： Hdfs-site.xml配置如下： 接着是mapred-site.xml文件：配置hadoop-env.sh文件这个需要根据实际情况来配置。 七、配置masters和slaves文件根据实际情况配置masters的主机名，在本实验中，masters主结点的主机名为master,于是在masters文件中填入：   同理，在slaves文件中填

8、入： 八、向各节点复制hadoop向node1节点复制hadoop：    向node2节点复制hadoop:这样，结点node1和结点node2也安装了配置好的hadoop软件了。 九、格式化namenode这一步在主结点master上进行操作：注意：上面只要出现“successfullyformatted”就表示成功了。 十、启动hadoop这一步也在主结点master上进行操作：  十一、  用jps检验各后台进程是否成功启动在主结点master上查看namenode,job