CDH51手工安装文档

《CDH51手工安装文档》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、CDH5.1安装文档1本文档本文档是通过ClouderaManager来安装Hadoop的发行版本CDH5.1。测试环境安装包括：1.HDFS2.YARN3.Hive4.Hue5.Oozie6.SqoopSpark由于更新较快，建议单独安装。HBase如果作为线上大数据服务使用，需要单独规划独立的集群来避免和Hive批量数据处理的干扰。2CDH安装服务器规划安装BI平台的CDH测试环境共需要11台服务器。详细内容见如下表格：服务器名称数量机器配置Zookeeper服务器3虚拟机HadoopNameNode服务器1物理机HadoopSecondaryNameNode服务器1物理机Ha

2、doopDataNode服务器3（根据实际数据需要）物理机HadoopYARN服务器1虚拟机Hive服务器1虚拟机，内存12G以上Hue/Oozie/Sqoop1虚拟机1安装ClouderaManager5.11.1前提条件和准备工作1.1.1系统环境准备l支持的硬件及操作系统Centos664位机器三台，机器内存不小于6G，磁盘空间不少于40G，并且机器已安装python2.6或者2.7.l支持的数据库MySQL5.5orMySQL5.6（部分元数据需要存储到数据库中）l支持的JDK版本JDK755版本及以上或者JDK840版本及以上。软件包：l安装的软件包cloudera-ma

3、nager-el6-cm5.1.0_x86_64.tar.gzhttp://archive-primary.cloudera.com/cdh5/1.1.2系统环境配置1）网络配置（所有节点）使用vi/etc/sysconfig/network来修改网络配置，修改hostname为：NETWORKING=yesHOSTNAME=nn01.hadoop通过servicenetworkrestart命令来重启网络服务生效。修改所有的主机的网络配置，注意：每个节点的网络配置的HOSTNAME要区别开来。2）Hosts配置（所有节点）127.0.0.1localhostlocalhost.l

4、ocaldomainlocalhost4localhost4.localdomain410.32.60.15nn01.hadoop10.32.60.16dn01.hadoop10.32.60.17dn02.hadoop3）SSH配置（设置SSH无密码登录）（所有节点）ClouderaManager在安祖昂以及升级的过程中需要SSH到集群中主机已root账号的权限来操作。最好是安装和升级的过程中先去掉SSH密码配置，安装完和升级完，再恢复。在主节点上执行：ssh-keygen–trsa，一路回车，生成无密码密钥对。将公钥添加到认证文件中：cat~/.ssh/id_rsa.pub>>~

5、/.ssh/authorized_keys,并设置authorzied_keys的访问权限：chmod600~/.ssh/authorized_keys。将authorized_keys拷贝到所有的datanode节点上：scp-P58422.ssh/authorized_keysroot@dn01.hadoop:~/.ssh1）安装OracleJava（所有节点）使用：rpm–qa

6、grepjava来查看当前系统自带JDK。如果有的话，通过：rpm–e{已安装jdk名称}–nodeps命令来卸载已有的软件包。使用：rpm–ivhoracle-j2sdk1.7.rpm来安装软件包（

7、如果该包没有执行权限，请先执行：chmod755oracle-j2sdk1.7.rpm）。安装完成之后，在/usr/java下使用：ln–sjdk1.7.0_55-clouderalatest来建立softlink。配置JAVA_HOME全局变量：echo“JAVA_HOME=/usr/java/latest/”>>/etc/environment。2）关闭防火墙和SELINUX(所有节点)由于需要在所在节点开通各种端口，暂时先临时关闭防火墙。命令如下：>serviceiptablesstop(临时关闭)>chkconfigiptablesoff(重启后永久生效)关闭SELINUX

8、，命令如下：>setenforce0（临时生效）>修改/etc/selinux/config下的SELINUX=disabled（重启后生效）3）配置NTP时间同步服务目前linux服务器都已经配置了时间同步服务，无需进行多余设置。4）安装MySQL服务器由于MySQL5.5与已存在的mysql-libs包:mysql-libs-5.1.66-2.el6_3.x86_64有冲突，使用：rpm-e--nodepsmysql-libs-5.1.66-2.el6_3.x86