hadoop实践部署过程

《hadoop实践部署过程》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、一.建虚拟机1.建三个虚拟机，装Linux系统，可装完一个复制两个系统（文件复制，或工作站“虚拟机-》克隆”）2.保证三个虚拟机网络通畅，IP分别为：192.168.1.51/52/53涉及到的命令:ifconfig、servicenetworkrestart>pingXXX修改静态IP：ifconfigethO192.168.1.XX3.修改主机名，三个主机名分别为：gdfwdb01/02/03修改方法：a.更改/etc/sysconfig下的network文件,在提示符下输入vi/etc/sysconfig/network,然后将HOSTNAME后面的值改为想要设置

2、的主机名。b.更改/etcI、■的hosts文件，在提示符下输入vi/etc/hosts,加入三个节点对应ip及主机名，保存退出；（i编辑，esc后：wq!保存退出，：q!不保存退出）；所有节点均：配置hosts文件（目的：解析集群主机名及IP）192.168.1.51gdfwdbOl192.168.1.52gdfwdb02192.168.1.53gdfwdb03127.0.0.1localhost.localdomainkxalhost10.16.3&23010.16.36.23110.16.36.232HadoopSrvOlHadoopSrv02HadoopSrv0

3、3c.重启，reboot5.新建Hadoop用户#useraddhadp#passwdhadp（密码：hadoopl23）关防火墙chkconfigiptablesoff关闭chkconfigiptables-list查看禁用selinux:编辑/etc/selinux/config文件，设置“SELINUX二disabled”二.装jdk6•装jdk上传jdk安装包,不同节点间复制,scpjdk-6u35-linux-x64.binhadp@gdfwdb03:/home/hadp安装：hadp用户，$chmodu+xjdk-6u35-linux-x64.bin$./j

4、dk-6u35-linux-x64.bin装完后，配JAVA_HOME$vi.bash_profile加入：exportJAVA_HOME=/home/hadp/jdkl.6.0_35exportPATH=$JAVA_HOME/bin:$PATH让配置生效，导入全局环境变量$source.bash_profile一.ssh免密码登录7.ssh密钥对，保证节点间ssh链接免密钥接入，需在hadp用户底下执行$ssh-keygen-trsa（Z后默认回车）$cd.ssh$Is$cpid_rsa.pubauthorized_keys億思：将生成的公钥内容复制到authoriz

5、ed_keys,注意文件名不能错）$catauthorized_keys（查看文件内容）把三个节点authorized_keys内容全部拿出来组合成一个大文件，覆盖掉各个节点的authorized_keys这样彼此间就免密码ssh连入$scphadp@gdfwdb02:~/.ssh/id_rsa.pub./2_rsa.pub（将2节点的公钥复制过来,命名为2_rsa.pub）$cat2_rsa.pub»authorized_keys（将2的内容加到authorized_keys后面）重复Oo0删除文件rm-f文件名删除文件夹rm-rf目录名完成后，在节点1输入命令$ss

6、hgdfwdb02,第一次询问输入yes,成功连接到节点2,输入命令$电*让，退回到节点1,再输一次连接，本次不再询问，成功！三个节点之间重复执行一下连接工作，包括本身，自己连自己切换到root用户，修改一个ssh参数，防止后期启动Hadoop报错：启动hadoop报192.168.1.51:Address192.168.1.51mapstogdfwdbOl,butthisdoesnotmapbacktotheaddress・POSSIBLEBREAK-INATTEMPT!$vi/etc/ssh/ssh_configGSSAPIAuthenticationyse…■改为

7、：——GSSAPIAuthenticationno据说GSSAPIAuthentication的作用：是否允许使用基于GSSAPI的用八认证。是否在用户退出登录后自动销毁用户凭证缓存。默认值是”yes”因为节点与主节点之间有心跳机制监测服务器是否存活，因此彼此之间时间耍求一致，需进行服务器时间同步工作，利用linux自带服务ntp（NetworkTimeProtocol,M络时间协议，用来使网络中的各个计算机时间同步的一种协议）服务。我们将master作为时间服务器。Root用户操作一下步骤：1.查询是否安装ntp,若没有安装的话使用yu