spark安装部署

《spark安装部署》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、一、安装spark依赖的内容1.JDK  spark是由Scala语言编写的，但是运行的环境是jvm，所以需要安装JDK  编译过程：Python、java、Scala编写的代码->scala编译器编译解释，生成class文件->由jvm负责执行class文件（与java代码执行一致）2.scala  由于 spark是由Scala语言编写的，所以依赖Scala环境，且由Scala编写的执行代码也需要环境进行编译3.配置SSH免密码登录  集群节点无密码访问，与安装Hadoop时一致4.安装Hadoop  h

2、dfs是作为spark的持久层，所以需要安装Hadoop，同时如果需要配置sparkonyarn，则Hadoop需要安装yarn版本的5.安装spark  安装spark，执行spark代码二、JDK安装1.下载地址  用户可以在官网下载相应版本的JDK，本例使用JDK1.6,下载地址为： http://www.oracle.com/technetwork/java/javase/archive-139210.html  developmentkit的bin包2.下载后，在相应的目录下执行bin文件(假设JD

3、K目录是 jdkpath)  ./ jdk-6u45-linux-i586.bin3.配置环境变量，修改/etc/profile文件增加以下内容  export JAVA_HOME=$jdkpath  export  PATH=$JAVA_HOME/bin:$PATH  export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/jre/lib/tools.jar4.生效profile(或者重启机器)  s

4、ource/etc/profile5.终端输入java-version  输出类似如下说明安装成功   三、安装Scala1.下载地址  官网下载地址：http://www.scala-lang.org/download/all.html  本例使用的是Scala2.9.32.在安装目录下解压（假设Scala目录是scalapath）  tar-zxvf scala-2.9.3.tgz3.配置环境变量，修改/etc/profile文件增加以下内容  export SCALA_HOME=$scalapath  

5、export  PATH=$SCALA_HOME/bin:$PATH4.生效profile(或者重启机器)  source/etc/profile四、配置SSH免密码登陆首先，需要配置各个机器间的相互访问：1、 配置ssh的自动登陆(在master机上)：    $ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa    完成后会在~/.ssh/(用户目录下)生成两个文件：id_dsa 和id_dsa.pub。    再把id_dsa.pub 追加到授权key 里面(当前并没有a

6、uthorized_keys文件)：    $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys    完成后可以实现无密码登录本机：    $ ssh localhost2、把master上的id_dsa.pub 文件追加到slaves机器的authorized_keys 内( 以slaves1节点为例)：    #拷贝master的id_dsa.pub文件(在master号机器上执行)    $ scp id_dsa.pub redmap@192.168.1.

7、2:/home/redmap/注：(只需在主节点上运行ssh-kegen程序。其他节点的目录结构创建后，将刚才在主节点创建的keys通过scp拷贝到从节点的同样的目录上。)我们在实际执行中是手动把id_dsa.pub拷贝到其他slaves的节点中，而不是用scp命令。最好是直接手动拷贝过去，这样文件的权限是一致的。登录192.168.1.2，进入用户目录下执行：    $ cat id_dsa.pub >> .ssh/authorized_keys    之后可以在master上不输入密码直接SSH访问sla

8、ves1五、安装Hadoop2.x1.下载Hadoop  下载地址 http://apache.fayea.com/hadoop/common/  本文使用hadoop-2.5.2.tar2.解压压缩包到指定目录  tar-zxvfhadoop-2.5.2.tar-C/usr/local(目录自定义)  如果需要修改拥有者  chown-Rhduser:hadoop hadoop-2.5.23.配置