大数据环境集群环境搭建

《大数据环境集群环境搭建》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据，hadoop,spark,hive,ZooKeeper,kafka,flume等组件环境搭建大数据环境搭建1、CentOS6.5 2、JDK1.8 3、Hadoop2.6 4、Hive1.1.05、ZooKeeper-3.4.9 6、kafka_2.11-0.10.2.17、Spark2.1.1 8、flume-ng-1.6.0CentOS6.5防火墙和DNS配置 1、关闭防火墙serviceiptablesstopchkconfigiptablesoffvi/etc/selinux/configSELINUX=disabled2、配置yumyumcleanallyumma

2、kecacheyuminstalltelnetJDK1.7安装 1、将jdk-8u131-linux-x64.tar.gz通过上传到服务器中 2、安装JDK：把压缩包放到/usr/java/目录下tar-zxvfjdk-8u60-linux-x64.tar.gz3、配置jdk相关的环境变量vi~/.bashrc或者vi/etc/profileexportJAVA_HOME=/usr/java/latestexportPATH=$PATH:$JAVA_HOME/binsource.bashrc或者source/etc/profile4、测试jdk安装是否成功：Java -versio

3、n 5、rm-f/etc/udev/rules.d/70-persistent-net.rules安装第二台和第三台服务器 1、安装上述步骤，再安装两台一模一样环境的服务器，因为后面hadoop和spark都是要搭建集群的。 2、集群的最小环境就是三台。因为后面要搭建ZooKeeper、kafka等集群。 3、另外两台机器的hostname分别设置为spark2和spark3即可，ip分别为192.168.1.108和192.168.1.109 4、在安装的时候，另外两台服务器的centos镜像文件必须重新拷贝一份，放在新的目录里，使用各自自己的镜像文件。 5、服务器的硬盘文件也必

4、须重新选择一个新的目录，以更好的区分。 6、安装好之后，记得要在三台机器的/etc/hosts文件中，配置全三台机器的ip地址到hostname的映射，而不能只配置本机，这个很重要！ 7、在windows的hosts文件中也要配置全三台机器的ip地址到hostname的映射。配置集群ssh免密码登录 1、首先在三台机器上配置对本机的ssh免密码登录 生成本机的公钥，过程中不断敲回车即可，ssh-keygen命令默认会将公钥放在/root/.ssh目录下ssh-keygen-trsa将公钥复制为authorized_keys文件，此时使用ssh连接本机就不需要输入密码了cd/root

5、/.sshcpid_rsa.pubauthorized_keys2、接着配置三台机器互相之间的ssh免密码登录 使用ssh-copy-id-ispark命令将本机的公钥拷贝到指定机器的authorized_keys文件中（方便好用） Hadoop2.4.1集群搭建 安装hadoop包1、使用hadoop-2.4.1.tar.gz，使用WinSCP上传到CentOS的/usr/local目录下。2、将hadoop包进行解压缩：tar-zxvfhadoop-2.4.1.tar.gz3、对hadoop目录进行重命名：mvhadoop-2.4.1hadoop4、配置hadoop相关环境变量

6、vi.bashrc或者vi/etc/profileexportHADOOP_HOME=/usr/local/hadoopexportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource.bashrc修改hadoop相关的配置文件 进入/usr/local/hadoop/etc/hadoop目录下 修改core-site.xmlfs.default.namehdfs://spark1:9000//设置hdfs集群对外提供的目录修改hdfs-site.

7、xml//设置hdfs的一些目录，放在/usr/local/data的目录下面dfs.name.dir/usr/local/data/namenodedfs.data.dir/usr/local/data/datanodedfs.tmp.dir