欢迎来到天天文库
浏览记录
ID:47442735
大小:60.84 KB
页数:20页
时间:2020-01-11
《大数据环境集群环境搭建》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、大数据,hadoop,spark,hive,ZooKeeper,kafka,flume等组件环境搭建大数据环境搭建1、CentOS6.5 2、JDK1.8 3、Hadoop2.6 4、Hive1.1.05、ZooKeeper-3.4.9 6、kafka_2.11-0.10.2.17、Spark2.1.1 8、flume-ng-1.6.0CentOS6.5防火墙和DNS配置 1、关闭防火墙serviceiptablesstopchkconfigiptablesoffvi/etc/selinux/configSELINUX=disabled2、配置yumyumcleanallyumma
2、kecacheyuminstalltelnetJDK1.7安装 1、将jdk-8u131-linux-x64.tar.gz通过上传到服务器中 2、安装JDK:把压缩包放到/usr/java/目录下tar-zxvfjdk-8u60-linux-x64.tar.gz3、配置jdk相关的环境变量vi~/.bashrc或者vi/etc/profileexportJAVA_HOME=/usr/java/latestexportPATH=$PATH:$JAVA_HOME/binsource.bashrc或者source/etc/profile4、测试jdk安装是否成功:Java -versio
3、n 5、rm-f/etc/udev/rules.d/70-persistent-net.rules安装第二台和第三台服务器 1、安装上述步骤,再安装两台一模一样环境的服务器,因为后面hadoop和spark都是要搭建集群的。 2、集群的最小环境就是三台。因为后面要搭建ZooKeeper、kafka等集群。 3、另外两台机器的hostname分别设置为spark2和spark3即可,ip分别为192.168.1.108和192.168.1.109 4、在安装的时候,另外两台服务器的centos镜像文件必须重新拷贝一份,放在新的目录里,使用各自自己的镜像文件。 5、服务器的硬盘文件也必
4、须重新选择一个新的目录,以更好的区分。 6、安装好之后,记得要在三台机器的/etc/hosts文件中,配置全三台机器的ip地址到hostname的映射,而不能只配置本机,这个很重要! 7、在windows的hosts文件中也要配置全三台机器的ip地址到hostname的映射。配置集群ssh免密码登录 1、首先在三台机器上配置对本机的ssh免密码登录 生成本机的公钥,过程中不断敲回车即可,ssh-keygen命令默认会将公钥放在/root/.ssh目录下ssh-keygen-trsa将公钥复制为authorized_keys文件,此时使用ssh连接本机就不需要输入密码了cd/root
5、/.sshcpid_rsa.pubauthorized_keys2、接着配置三台机器互相之间的ssh免密码登录 使用ssh-copy-id-ispark命令将本机的公钥拷贝到指定机器的authorized_keys文件中(方便好用) Hadoop2.4.1集群搭建 安装hadoop包1、使用hadoop-2.4.1.tar.gz,使用WinSCP上传到CentOS的/usr/local目录下。2、将hadoop包进行解压缩:tar-zxvfhadoop-2.4.1.tar.gz3、对hadoop目录进行重命名:mvhadoop-2.4.1hadoop4、配置hadoop相关环境变量
6、vi.bashrc或者vi/etc/profileexportHADOOP_HOME=/usr/local/hadoopexportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource.bashrc修改hadoop相关的配置文件 进入/usr/local/hadoop/etc/hadoop目录下 修改core-site.xmlfs.default.namehdfs://spark1:9000//设置hdfs集群对外提供的目录修改hdfs-site.
7、xml//设置hdfs的一些目录,放在/usr/local/data的目录下面dfs.name.dir/usr/local/data/namenodedfs.data.dir/usr/local/data/datanodedfs.tmp.dir
此文档下载收益归作者所有