在CentOS6.5环境下安装CDH5.1

《在CentOS6.5环境下安装CDH5.1》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、在CentOS6.5环境下安装CDH5.1关于CDH和ClouderaManagerCDH(Cloudera'sDistribution,includingApacheHadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可直接用于生产环境。ClouderaManager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大

2、简化。1.安装方案及节点规划NameNode和ResourceManager是两个独立的功能单元，二者可以集中部署，亦可分布式部署。由于测试环境有限，把NameNode和ResourceManager部署到一起。主机IP角色需要的程序备注n1192.168.116.133Namenode/DatanodeJournalNode、NameNode、DFSZKFailoverController、DataNode、NodeManagerNamenode主备n2192.168.116.134Namenode/

3、DatanodeJournalNode、NameNode、DFSZKFailoverController、DataNode、NodeManagerNamenode主备n3192.168.116.135DatanodeDatanode、NodeManager-n1192.168.116.133ResourceManagerResourceManagerRM主备n3192.168.116.135ResourceManagerResourceManagerRM主备n1192.168.116.133JobHis

4、toryServerJobHistoryServer-注意：如果使用VMWare虚拟机安装Linux，需要使用NAT模式，并将虚拟机的IP地址指定好，否则在不同的网络环境下IP可能会发生变化，导致无法使用，但是NAT模式无法与外界的局域网通信，所以如果是在服务器上虚拟化的使用场景，必须使用更复杂的桥接模式，详情参考[]2.安装准备2.1修改主机名对集群内的节点规划不同的主机名查看主机名的命令hostname临时修改主机名的命令hostnamenew_hostname临时修改主机名只有当前有效，重启后即取

5、消，如果要彻底修改主机名，需要修改配置文件vi/etc/sysconfig/network修改HOSTNAMENETWORKING=yesHOSTNAME=n1然后重启网络servicenetworkrestart最后修改hosts文件，增加ip与hostname的对应关系vi/etc/sysconfig/hosts增加ip与hostname的对应关系192.168.116.133n1n1.localdomain192.168.116.134n2n2.localdomain192.168.116.135

6、n3n3.localdomain注意：这里必须是三个，即nn.localdomain不可或缺，否则后面的hdfs配置会出问题2.2防火墙配置防火墙配置，关闭每个节点的selinux/iptables(用root用户执行)1.关闭iptablesserviceiptablesstop#停止服务chkconfig--deliptables#关闭服务自动重启1.关闭selinux修改/etc/selinux/configvi/etc/selinux/configSELINUX=disabled2.3配置SSH

7、**注意：CentOS6.5环境下需要先[安装SSH服务]在主节点上执行以下命令，生成无密码的密钥对。ssh-keygen-trsa一路回车即可，然后将公钥添加到认证文件中cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys然后并设置authorized_keys的访问权限chmod600~/.ssh/authorized_keys最后将scp文件到所有datenode节点scp~/.ssh/authorized_keysroot@n2:~/.ssh/测试：在主节点上

8、sshn2，正常情况下，不需要密码就能直接登陆进去了。2.4安装JDK注意：这里一定要安装JDK，而且最好在1.7版本以上，CentOS中自带的是JRE，不是JDK，不安装JDK的话Sqoop无法使用。另外Spark需要JDK1.7版本以上，可以考虑直接安装最新的JDK1.8。2.5配置hosts把集群中的各个节点配置到每个节点的/etc/hosts中。192.168.116.133n1192.168.116.134n2192.168.11