linux(centos7)基于hadoop2.5.2安装spark1.2.1

《linux(centos7)基于hadoop2.5.2安装spark1.2.1》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、linux(centos7)基于hadoop2.5.2安装spark1.2.11、安装hadoop参考http://blog.csdn.net/bahaidong/article/details/418659432、安装scala参考http://blog.csdn.net/bahaidong/article/details/442206333、安装spark下载spark最新版spark-1.2.1-bin-hadoop2.4.tgzhttp://www.apache.org/dyn/closer.cgi/spark/spark-1.2.1/spark-1.2.1-bin-hadoop2.

2、4.tgz上传到linux上/opt下面[root@masterDownloads]#cpspark-1.2.1-bin-hadoop2.4.tgz/opt解压[root@masterDownloads]#cd/opt[root@masteropt]#tar-zxfspark-1.2.1-bin-hadoop2.4.tgz修改属组（与hadoop一个用户）[root@masteropt]#chown-Rhadoop:hadoopspark-1.2.1-bin-hadoop2.4/查看权限[root@masteropt]#ls-lldrwxrwxr-x.12hadoophadoop4096Ap

3、r1016:11spark-1.2.1-bin-hadoop2.4 -rw-r-----.1rootroot219309755Apr1015:34spark-1.2.1-bin-hadoop2.4.tg添加环境变量[root@masterspark-1.2.1-bin-hadoop2.4]#vim/etc/profileexportSPARK_HOME=/opt/spark-1.2.1-bin-hadoop2.4exportPATH=$PATH:$SPARK_HOME/bin:wq!#保存并退出执行使立即生效[root@masterspark-1.2.1-bin-hadoop2.4]#./e

4、tc/profile或者source/etc/profile切换用户[root@masterspark-1.2.1-bin-hadoop2.4]#suhadoop进入conf[hadoop@masterspark-1.2.1-bin-hadoop2.4]$cdconf拷贝spark-env.sh.template到spark-env.sh[hadoop@masterconf]$cpspark-env.sh.templatespark-env.sh编辑[hadoop@masterconf]$vimspark-env.sh添加如下内容exportJAVA_HOME=/usr/java/jdk1.

5、7.0_71exportSCALA_HOME=/usr/scala/scala-2.11.6exportSPARK_MASTER_IP=202.114.118.199#集群master的ipexportSPARK_WORKER_MEMORY=2g#worker节点分配给excutors的最大内存，因为三台机器都是2GexportHADOOP_CONF_DIR=/opt/hadoop-2.5.2/etc/hadoop#hadoop集群的配置文件的目录编辑slaves[hadoop@masterconf]$cpslaves.templateslaves[hadoop@masterconf]$vi

6、mslaves修改成如下内容（集群中各台机器的名字）master.hadoopslave1.hadoopslave2.hadoop4、安装另两台slave1.hadoop与slave2.hadoop，安装过程与上述过程一样直接拷贝文件即可[hadoop@masteropt]$scp-rspark-1.2.1-bin-hadoop2.4root@slave1:/opt/[hadoop@masteropt]$scp-rspark-1.2.1-bin-hadoop2.4root@slave2:/opt/登陆到slave1.hadoop并修改slave1.hadoop的属组[root@mastero

7、pt]#sshslave1.hadoop[root@slave1~]#cd/opt[root@slave1opt]#chown-Rhadoop:hadoopspark-1.2.1-bin-hadoop2.4/添加slave1.hadoop的环境变量[root@slave1opt]#vim/etc/profileexportSPARK_HOME=/opt/spark-1.2.1-bin-hadoop2.4exp