hadoop集群部署详细手册

《hadoop集群部署详细手册》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1、安装虚拟机1.1、准备软件1、VMwareWorkstation12.zip虚拟机软件2、CentOS-6.5-x86_64-bin-DVD1.iso64位操作系统1.2、安装虚拟机软件要想成功安装，务必删除掉已有的虚拟机软件1.3、安装操作系统l运行虚拟机软件，点击软件右上角的文件，选择新建虚拟机，会弹出新建虚拟机向导页面l选择典型安装，然后点击下一步l选择客户端操作系统，务必选择“稍后安装操作系统”，然后点击下一步l选择客户端操作系统的类型为linux、版本为CentOS64位，然后点击下一

2、步l输入虚拟机名称，并选择虚拟机镜像文件安装的目录，然后下一步l选择磁盘大小，并选择镜像文件存储的格式，然后点击下一步l直接点击完成l完成之后，虚拟机软件的左侧会出现你配置的虚拟机名称，点击编辑虚拟机设置l根据自己的机器配置信息设置虚拟机内存大小，一般建议给2G以上l重要操作：指定虚拟机启动时的镜像文件l重要操作：指定虚拟机网络类型为NAT，如果已经NAT就忽略此步骤l配置完成之后，点击确定操作保存配置文件l启动虚拟机，选中你的虚拟机名称，在右侧的窗口点击开启此虚拟机l直接回车，安装操作系统l使用键

3、盘上的Tab按键，选择Skip，然后点击回车l然后一路回车，进入以下的页面，并点击Next操作l选择语言l选择键盘l选择硬盘类型l选择yesdiscardanydata确定当前配置l输入hostname主机名称l选择时区为上海l输入操作系统的密码为8个1l输入密码之后，点击下一步，会提示密码过于简单，是否使用，选择使用l选择替换已经存在的系统l将以上配置信息写入到磁盘l选择服务器类型为BasicServerl服务器会自动安装，安装完成之后点击reboot按钮即可1.4、配置linux的网卡 新安装的

4、操作系统，既是使用了桥接的方式，也不一定能够上网，因为每个人的网络环境并非一样的。所以如果你在使用ping命令，可能会碰到一下的错误：  1）ping域名的时候出现ping:unknownhost xxx.xxx  2）ping域名的时候出现connect:networkisunreachable的问题  以上两种问题的出现，一般都是ip地址没有配置好。下图的是常用网卡配置的参数  配置网卡有几种方式，可以自行百度下，本文是修改网卡的配置文件。  配置文件名称：vi/etc/sysconfig/ne

5、twork-scripts/ifcfg-eth0配置完毕之后，重启网卡servicenetworkrestart   1.5、准备三个虚拟机搭建Hadoop集群重复步骤1.3和1.4的操作，完成三个虚拟机的安装。1.6、配置集群Hosts  所有的虚拟机上都需要配置hosts     vi /etc/hosts      192.168.239.128 storm01 zk01 hadoop01      192.168.239.129 storm02 zk02 hadoop02      192.

6、168.239.130 storm03 zk03 hadoop03Scp/etc/hostshadoop02:/etc/Scp/etc/hostshadoop03:/etc/1.7、服务器间免密码登录[必选]Hadoop01上配置免密码登陆，在所有机器上执行以下命令  ssh-keygen -t rsa （四个回车）    执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）    将公钥拷贝到要免密登陆的目标机器上    ssh-copy-id {其他机器的hostn

7、ame} 1.8、关闭服务器的防火墙（1）重启后永久性生效：开启：chkconfigiptableson关闭：chkconfigiptablesoff（2）即时生效，重启后失效：开启：serviceiptablesstart关闭：serviceiptablesstop1.9、创建服务器上的统一工作目录mkdir/exportmkdir/export/serversmkdir/export/software/chmod755-R/export2、配置JDK2.1、查看当前系统上是否安装了JDK  进入

8、一个新的系统，一般来讲是没有安装过JDK的。但是有些linux的版本会默认安装openJDK。openJDK实在oracle公司开源的代码上进行同步开发并发布的版本。如果要查看当前系统是否已经安装了JDK，可以使用命令：sudoupdate-alternatives--configjava 2.2、下载JDK   由于当前系统中并没有我们需要的oracleJDK，我们需要自己安装一个。   先在oracle的网站上寻找JDK的下载地址，然后使用wget命令进行下载。或