基于docker搭建spark_on_yarn及可视化桌面

《基于docker搭建spark_on_yarn及可视化桌面》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于docker大数据集群搭建技术手册一、简介2二、docker搭建31.docker搭建32.weave搭建3三、hadoop集群镜像搭建41.搭建准备42.hadoop部署43.扩展：HA部署114.扩展：namenode的手动删除11四、集群部署与启动111.docker搭建master和slave集群112.weave设置ip地址123.服务启动：12五、基于ambari管理平台的镜像搭建141.部署准备142.私库配置143.ambari-server安装144.ambari-client安装165.ambari管理17六、桌面

2、系统XFCE搭建17七、附录1819一、简介大数据集群部署依托于docker，组建虚拟集群，机组间通过weave搭建互通网络环境，如图1：hbase192.168.1.13Nodejs192.168.1.12Hadoop192.168.1.3Hadoop192.168.1.2weave其他…mongo192.168.1.14其他…tomcat192.168.1.4物理机10.10.65.132物理机10.10.65.131dockerdocker图1hadoop集群搭建YARN平台，基于HDFS。在YARN基础上搭建SPARK进行业务处理

3、，如图2：图2环境版本：191)Ubuntu14.042)jdk:1.73)docker:1.9.14)hadoop-2.6.0-cdh5.5.05)scala-2.11.76)spark-1.5.0-bin-hadoop2.6.tgz7)zookeeper-3.4.5-cdh5.5.0下载地址见附录1注：集群部署所有权限都为root，请以root权限登陆启动服务一、docker搭建1.docker搭建#apt-getinstallsoftware-properties-common#apt-getinstallpython-softwa

4、re-properties #add-apt-repositoryppa:dotcloud/lxc-docker#apt-getupdate#apt-getinstalllxc-docker#dockerpullubuntu:14.04#docker run -i -t ubuntu:14.04 /bin/bash2.weave搭建#sudowget-O/usr/local/bin/weavehttps://raw.githubusercontent.com/zettio/weave/master/weave#sudochmoda+x/u

5、sr/local/bin/weave#weavelaunch19一、hadoop集群镜像搭建1.搭建准备进入新建的一个docker实例，将上述软件包下载并解压到/opt/目录下，各软件包安装路径如下hadoop:/opt/yarn/hadoop-2.6.0-cdh5.5.0spark:/opt/spark-1.5.0-cdh5.5.0scala:/opt/scala-2.11.71.hadoop部署1)配置jdk等环境变量:#vim/etc/profile添加如下配置(根据所安装目录修改路径)：exportJAVA_HOME=/usr/l

6、ocal/jdkexportCLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/libexportSCALA_HOME=/opt/scalaexportSPARK_HOME=/opt/sparkexportPATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/binexportHADOOP_DEV_HOME=/opt/yarn/hadoop-2.6.0-cdh5.5.0/exportPATH=$PATH:$HADOOP_DE

7、V_HOME/binexportPATH=$PATH:$HADOOP_DEV_HOME/sbinexportHADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}exportHADOOP_COMMON_HOME=${HADOOP_DEV_HOME}exportHADOOP_HDFS_HOME=${HADOOP_DEV_HOME}exportYARN_HOME=${HADOOP_DEV_HOME}exportHADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoopexportHDFS_

8、CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop19exportYARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop#source