开源大数据平台部署方案.docx

《开源大数据平台部署方案.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、开源大数据平台部署方案i目录1.环境配置5主机地址5查看服务器硬件环境信息5查看操作系统版本和内核5关闭防火墙和SELinex6所有主机时间同步6安装JDK7Maven安装8配置主机名9配置hosts映射10新建hadoop用户10配置SSH免密码登录102.安装Zookeeper12修改配置文件12设置myid14启动Zookeeper集群14基本命令153.安装Hadoop15NameNode(NN)HA实现方式15ResourceManager(RM)HA实现方式16Hadoop安装包下载16修改配置文件18配置Hadoop

2、主目录18修改hadoo-env.sh18修改core-site.xml19修改hdfs-site.xml20修改mapred-site.xml24修改yarn-site.xml24修改slaves28将配置好的hadoop安装包分发到其它节点28添加hadoop临时文件目录28启动Zookeeper集群29启动journalnode29格式化HDFS29在Master1上格式化ZK30启动HDFS30启动YARN3115通过web页面查看集群是否已经正常启动311.安装HBase32下载HBase安装包32HBase安装35解压

3、缩安装包35修改hbase-env.sh36修改hbase-site.xml37修改regionservers37添加backup-masters38拷贝hbase到其他节点38启动HBase382.安装Hive39安装MySQL39修改hive配置文件41HiveHWI安装及配置423.Mahout安装42下载Mahout源码42Mahout0.12.0编译43Mahout0.12.0安装部署43Mahout验证44Mahout0.12.0实例测试444.安装Spark（Yarn-Cluster模式）45安装Scala45编译S

4、park45下载Spark源码包：46安装maven：46Spark编译47Spark安装47解压缩安装包47修改配置文件47集群运行模式505.Sqoop安装50下载安装50修改配置文件51启动Sqoop51测试Sqoop526.安装Kafka54Kafka安装配置54Kafka监控安装55151.安装Storm56上传所需文件56编译安装ZMQ（所有Storm的安装节点）56编译安装JZMQ：（所有Storm的安装节点）57编译安装Python（所有Storm的安装节点）57修改配置文件58启动Storm各个后台进程582.T

5、achyon编译部署59支持多种部署方式59编译Tachyon60下载并上传源代码61编译代码62集群模式部署Tachyon62集群环境62基于Zookeeper的FaultTolerantTachyonCluster实现63Tachyon环境变量67Tachyon通用配置67TachyonMaster配置68TachyonWorker配置69用户配置69在Spark中使用Tachyon70在MapReduce中使用Tachyon703.Hue安装70下载编译源码包70Hue环境配置72HDFS配置73Yarn配置75Hive配置

6、76HBase配置76Zookeeper配置76151.环境配置主机地址主机地址用户名密码172.26.40.74rootcloud4c172.26.40.75rootcloud4c172.26.40.76rootcloud4c172.26.40.77rootcloud4c172.26.40.78rootcloud4c查看服务器硬件环境信息查看CPU型号:cat/proc/cpuinfo

7、grepname

8、cut-f2-d:

9、uniq-c[rcot0^ntit『ILproc]l#cit/t>roc/cpiu.inf-c

10、lgrtp

11、rirwl

12、cut-f2-d:Iun>iiqi-c4imelCr)xeon(R)cpue歩一2&2Q辽2.1CHjHZl[reiiliS*j.!s.terlproc)*查看物理CPU颗数:cat/proc/cpuinfo

13、grepphysical

14、uniq—1physicalidLaddresssizes1phy^Rjilid1»ddres.5s-iZ€5Lphysicalid1Addra>i1phy&icalidXaddresssize3[『ODL4}MMiL«r1protj^proc/c_puinFo

15、pltyii<41

16、)u

17、n42titspihysicalj0£2bitsphysical,142bitsphyidisTi1^2bitspihysi匚,bitsvirtual48bitsvirtual48bitivirtual48bitsvirtual四颗一核的CPU查看