hadoop环境搭建

《hadoop环境搭建》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1.准备环境1.1.安装包1）准备10台PC2）安装配置Linux系统：CentOS-7.03）安装配置Java环境：jdk-84）安装配置Hadoop：hadoop-2.7.1-x64.tar.gz1.2.网络配置主机名IPmaster10.10.10.13slave110.10.10.10slave210.10.10.11slave310.10.10.12slave410.10.10.100slave510.10.10.101slave610.10.10.102spark110.10.10.20spark21

2、0.10.10.21spark310.10.10.221.3.常用命令#systemctlstartfoo.service#运行一个服务#systemctlstopfoo.service#停止一个服务#systemctlrestartfoo.service#重启一个服务#systemctlstatusfoo.service#显示一个服务（无论运行与否）的状态#systemctlenablefoo.service#在开机时启用一个服务#systemctldisablefoo.service#在开机时禁用一个服务#s

3、ystemctlis-enablediptables.service#查看服务是否开机启动#reboot#重启主机#shutdown-hnow#立即关机#source/etc/profile#配置文件修改立即生效#yuminstallnet-tools1.安装配置CentOS1.1.安装CentOS1）选择启动盘CentOS-7.0-1406-x86_64-DVD.iso，启动安装2）选择InstallCentOS7，回车，继续安装3）选择语言，默认是English，学习可以选择中文，正时环境选择English4

4、）配置网络和主机名，主机名：master，网络选择开启，配置手动的IPV45）选择安装位置；在分区处选择手动配置；选择标准分区，点击这里自动创建他们，点击完成，收受更改6）修改root密码，密码：a7）重启，安装完毕。1.2.配置IP1.2.1.检查IP#ipaddr或#iplink1.2.2.配置IP和网管(两种方式)一、图形界面：很简单，不多介绍二、命令行：#cd/etc/sysconfig/network-scripts/#进入网络配置文件目录#findifcfg-em*#查到网卡配置文件，例如ifcfg-

5、em1#viifcfg-em1#编辑网卡配置文件或#vi/etc/sysconfig/network-scripts/ifcfg-em1#编辑网卡配置文件配置内容：BOOTPROTO=static#静态IP配置为static，动态配置为dhcpONBOOT=yes#开机启动IPADDR=10.10.10.13#IP地址NETMASK=255.255.255.0#子网掩码GATEWAY=10.10.10.254DNS1=202.196.35.67#systemctlrestartnetwork.service#重启

6、网络1.1.1.配置hosts#vi/etc/hosts编辑内容：10.10.10.13master10.10.10.10slave110.10.10.11slave210.10.10.12slave310.10.10.100slave410.10.10.101slave510.10.10.102slave610.10.10.20spark110.10.10.21spark210.10.10.22spark31.2.关闭防火墙#systemctlstatusfirewalld.service#检查防火墙状态#sy

7、stemctlstopfirewalld.service#关闭防火墙#systemctldisablefirewalld.service#禁止开机启动防火墙1.3.时间同步#yuminstall-yntp#安装ntp服务#ntpdatecn.pool.ntp.org#同步网络时间1.4.安装配置jdk1.4.1.安装jdk上传jdk-7u79-linux-x64.gz安装包到root根目录#mkdir/usr/java#tar-zxvfjdk-7u79-linux-x64.gz-C/usr/java/#rm-rf

8、jdk-7u79-linux-x64.gz1.4.2.各个主机之间复制jdk#scp-r/usr/javaslave1:/usr#scp-r/usr/javaslave2:/usr#scp-r/usr/javaslave3:/usr………….1.1.1.各个主机配置jdk环境变量#vi/etc/profile编辑内容：exportJAVA_HOME=/usr/java/j