hadoop集群部署方案

《hadoop集群部署方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Hadoop集群部署方案26目录1.网络拓扑12.软件安装12.1.修改主机名12.2.修改host文件12.3.创建Hadoop用户22.4.禁用防火墙22.5.设置ssh登录免密码22.6.安装hadoop43.集群配置53.1.修改脚本53.1.1.hadoop-env.sh53.1.2.yarn-env.sh53.2.配置文件53.2.1.core-site.xml53.2.2.hdfs-site.xml73.2.3.mapred-site.xml93.2.4.yarn-site.xml103.2.5.配置datanode133.3.创建目录134.启动zk集群145.

2、启动hadoop145.1.启动所有节点journalnode145.2.格式化h1namenode145.3.在h1上格式化ZK155.4.启动h1的namenode，zkfc16265.5.启动h2上namenode165.6.同步h1上的格式化数据到h2165.7.启动HDFS175.8.启动YARN185.9.启动h2ResourceManager185.10.h4上启动JobHistoryServer195.11.查看ResourceManager状态196.浏览器访问196.1.namenode管理界面196.1.1.http://192.168.121.167:5

3、0070196.1.2.http://192.168.121.168:50070206.2.ResourceManager管理界面206.2.1.http://192.168.121.167:8088/216.2.2.http://192.168.121.168:8088/216.3.JournalNodeHTTP服务216.3.1.http://192.168.121.167:8480/216.4.DatanodeHTTP服务226.4.1.http://192.168.121.167:50075/226.5.jobhistory管理界面226.5.1.http://192.

4、168.121.170:19888/jobhistory227.测试237.1.上传文件至hdfs237.2.验证hdfsHA237.3.验证yarn24261.网络拓扑h1h2h3h4IP192.168.121.167192.168.121.168192.168.121.169192.168.121.170rolematsterslaverslaverslaverNamenode是（active）是（standby）否否Datanode是是是是ResourceManager是是否否NodeManager是是是是zkfc是是否否Journalnode是是是否JobHistory

5、否否否是2.软件安装2.1.修改主机名修改四台机器的主机名，h1，h2，h3，h4查看是否修改成功uname-a 2.2.修改host文件修改三台机器/etc/hosts文件配置hadoop节点26配置zk节点1.1.创建Hadoop用户1)创建特定的Hadoop用户帐号以区分Hadoop和本机上的其他服务。sudogroupaddhadoopuseraddhadooppasswdhadoopusermod-a-Ghadoophadoop2)给hadoop用户添加权限，打开/etc/sudoers文件：在rootALL=(ALL)ALL后面添加hadoopALL=(ALL)AL

6、L1.2.禁用防火墙chkconfigiptablesoff1.3.设置ssh登录免密码Hadoop控制脚本(并非守护进程)依赖SSH来执行针对整个集群的操作。例如，Namenode是通过SSH（SecureShell）来启动和停止各个datanode上的各种守护进程的为了支持无缝式工作，SSH安装好之后，需要允许hadoop用户无需键入密码26即可登陆集群内的机器。最简单的方法是每个机器创建一个无密码公钥/私钥对1)生成密钥id_dsa.pub为公钥，id_dsa为私钥2)将公钥文件复制成authorized_keys文件3)修改.ssh目录的权限以及authorized_k

7、eys的权限sudochmod644~/.ssh/authorized_keyssudochmod700~/.ssh4)测试是否设置成功sshh15)对h2、h3、h4这几个节点上的hadoop用户也配置ssh，配置过程和上述在h1上一样6)在h2、h3、h4这几个节点上都执行一次“cat~/.ssh/id_rsa.pub

8、sshhadoop@h1'cat>>~/.ssh/authorized_keys'”命令，将这几个节点上的共钥id_ras.pub拷贝到h1中的authorized_ke