欢迎来到天天文库
浏览记录
ID:35926806
大小:76.50 KB
页数:16页
时间:2019-04-25
《spark安装部署》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、一、安装spark依赖的内容1.JDK spark是由Scala语言编写的,但是运行的环境是jvm,所以需要安装JDK 编译过程:Python、java、Scala编写的代码->scala编译器编译解释,生成class文件->由jvm负责执行class文件(与java代码执行一致)2.scala 由于 spark是由Scala语言编写的,所以依赖Scala环境,且由Scala编写的执行代码也需要环境进行编译3.配置SSH免密码登录 集群节点无密码访问,与安装Hadoop时一致4.安装Hadoop h
2、dfs是作为spark的持久层,所以需要安装Hadoop,同时如果需要配置sparkonyarn,则Hadoop需要安装yarn版本的5.安装spark 安装spark,执行spark代码二、JDK安装1.下载地址 用户可以在官网下载相应版本的JDK,本例使用JDK1.6,下载地址为: http://www.oracle.com/technetwork/java/javase/archive-139210.html developmentkit的bin包2.下载后,在相应的目录下执行bin文件(假设JD
3、K目录是 jdkpath) ./ jdk-6u45-linux-i586.bin3.配置环境变量,修改/etc/profile文件增加以下内容 export JAVA_HOME=$jdkpath export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/jre/lib/tools.jar4.生效profile(或者重启机器) s
4、ource/etc/profile5.终端输入java-version 输出类似如下说明安装成功 三、安装Scala1.下载地址 官网下载地址:http://www.scala-lang.org/download/all.html 本例使用的是Scala2.9.32.在安装目录下解压(假设Scala目录是scalapath) tar-zxvf scala-2.9.3.tgz3.配置环境变量,修改/etc/profile文件增加以下内容 export SCALA_HOME=$scalapath
5、export PATH=$SCALA_HOME/bin:$PATH4.生效profile(或者重启机器) source/etc/profile四、配置SSH免密码登陆首先,需要配置各个机器间的相互访问:1、 配置ssh的自动登陆(在master机上): $ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa 完成后会在~/.ssh/(用户目录下)生成两个文件:id_dsa 和id_dsa.pub。 再把id_dsa.pub 追加到授权key 里面(当前并没有a
6、uthorized_keys文件): $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 完成后可以实现无密码登录本机: $ ssh localhost2、把master上的id_dsa.pub 文件追加到slaves机器的authorized_keys 内( 以slaves1节点为例): #拷贝master的id_dsa.pub文件(在master号机器上执行) $ scp id_dsa.pub redmap@192.168.1.
7、2:/home/redmap/注:(只需在主节点上运行ssh-kegen程序。其他节点的目录结构创建后,将刚才在主节点创建的keys通过scp拷贝到从节点的同样的目录上。)我们在实际执行中是手动把id_dsa.pub拷贝到其他slaves的节点中,而不是用scp命令。最好是直接手动拷贝过去,这样文件的权限是一致的。登录192.168.1.2,进入用户目录下执行: $ cat id_dsa.pub >> .ssh/authorized_keys 之后可以在master上不输入密码直接SSH访问sla
8、ves1五、安装Hadoop2.x1.下载Hadoop 下载地址 http://apache.fayea.com/hadoop/common/ 本文使用hadoop-2.5.2.tar2.解压压缩包到指定目录 tar-zxvfhadoop-2.5.2.tar-C/usr/local(目录自定义) 如果需要修改拥有者 chown-Rhduser:hadoop hadoop-2.5.23.配置
此文档下载收益归作者所有