Hadoop完全分布式环境搭建步骤.doc

《Hadoop完全分布式环境搭建步骤.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop分布式环境搭建一、安装软件准备由于资源限制，本文档的Hadoop的节点环境均部署在虚拟的linux上，使用的虚拟机和linux的版本如下：VMware-workstation-full-8.0.2-.exe[红帽企业.Linux.5].TLF-SOFT-RedHat.Enterprise.Linux.5.Update.2-XiSO.isoHadoop及其相关包版本如下：hadoop-1.1.2.tar.gz其他软件包版本如下：jdk-6u24-linux-i586.bin二、linux环境准备1.安装VMwareWorkstation安装步骤省略2.创建一个虚拟机这里

2、需要说明的是虚拟机的NetworkAdapter选择Host-only方式，并且保证VMwareNetworkAdapterVMnet1为打开状态。关于NetworkAdapter的几种桥接方式的区别如下，这里由于宿主机和客户机都在同一个电脑上，所以采用Host-only的方式。宿主机(windows)与客户机(安装在虚拟机中的Linux)网络连接方式:(1)host-only宿主机与客户机单独组网。优点：网络隔离缺点：虚拟机与其他服务器之间不能通信(2)bridge客户机与宿主机在同一个局域网中。优点：都在同一个局域网，可以互相访问坏处：不安全3.安装RedHatLinux安装

3、时，对于网卡的设置，采用默认的DHCP方式，后面再进行ip设置。4.RedHat环境准备4.1关闭防火墙和关闭防火墙的自动运行1.关闭防火墙执行命令：serviceiptablesstop验证：serviceiptablesstatus2.关闭防火墙的自动运行执行命令：chkconfigiptablesoff验证：chkconfig--list

4、grepiptables4.2安装jdkJDK同一安装在/opt/java/jdk1.6.0_24目录下，具体的安装和设置步骤省略4.3设置Linux的字符编码(非必须)4.4建立专门的运行hadoop的用户三、Hadoop分布式环境搭建

5、1克隆Linux虚拟机环境、(1)选中将被复制的linux虚拟机，单击菜单“VM”-->“Manage”-->“Clone”(2)按照步骤即可复制一个Linux虚拟机环境。2设置各个虚拟机IP1.查看windows下VMware1的ip地址和子网掩码2.分别设置三个节点的ip地址、子网掩码和网关。重启网卡，执行命令servicenetworkrestart，让其立即生效。测试：在三个节点虚拟机中分别输入ping192.168.75.10,ping192.168.75.20,ping192.168.75.303配置各个主机名(1)查看当前虚拟机的主机名：hostname(2)修改当

6、前会话中的主机名，执行命令hostnamehadoop但此种方式只对当前会话有效(3)修改配置文件中的主机名，执行命令vi/etc/sysconfig/network验证：重启reboot4配置各个hosts文件对三个节点分别执行命令：vi/etc/hosts,均增加三行行内容，如下：192.168.75.10hadoop1192.168.75.20hadoop2192.168.75.30hadoop3验证：pinghadoop1,pinghadoop2,pinghadoop35配置各个SSH免密码登录5.1ssh原理Øn客户端向服务器端发出连接请求Øn服务器端向客户端发出自己的

7、公钥Ø客户端使用服务器端的公钥加密通讯密钥然后发给服务器端Ø如果通讯过程被截获，由于窃听者即使获知公钥和经过公钥加密的内容，但不拥有私钥依然无法解密（RSA算法）Ø服务器端接收到密文后，用私钥解密，获知通讯密钥Øssh-keygen命令给服务器端产生公私钥密钥对，cp命令将服务器端公钥复制到客户端（注意在伪分布模式下服务器端和客户端是同一台机器），因此客户端本身就拥有了服务器端公钥，可以直接进行免密码接入5.2ssh配置Øn注意要以grid用户登录，在grid用户的主目录下进行操作！Øn每个节点作相同操作(1)进入用户主目录，cd~,执行命令ssh-keygen-trsa产生秘钥

8、，位于~/.ssh文件夹中(2)执行命令cp~/.ssh/id_rsa.pub~/.ssh/authorized_keys(3)验证：sshhadoop2（由于公钥还未分发到各个节点，所以这里只能ssh本机）5.2ssh配置前后对比ssh配置前，这里以hadoop3为例：ssh配置后，这里以hadoop2为例：6分发ssh公钥把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中，然后就可以免密码彼此ssh连入验证：在hadoop1中执行sshhadoop2