安装Hadoop完全分布式模式

《安装Hadoop完全分布式模式》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、安装Hadoop完全分布式模式出自XiWi跳转到：导航,搜索Hadoop完全分布式模式目录[隐藏]1实验环境2实验目的3安装4配置文件概述5配置6运行7测试实验环境1.系统：centos5.62.JDK:jdk-6u26-linux-i586-rpm.bin3.账号：hadoop4.目录：/usr/local/hadoop5.主机名：masterslave1slave2实验目的组建三台机器的群集master：部署namecode，JobTracker，DataNode，TaskTrackerslave1：部署JobTracker，Dat

2、aNode，TaskTrackerslave2：部署JobTracker，DataNode，TaskTracker其实这个不是最好的组建方法。实验为了更好的测试多节点而这样设置。安装请确保每台机器都安装了sunjdk将hadoop安装在相同的目录（/usr/local/hadoop）。请确保hadoop/conf/hadoop-env.sh中JAVA_HOME=/usr/java/jdk1.6.0_26设置并且正确。每台机器创建hadoop账户。#useraddhadoop#passwdhadoop确保master能无密码登录。$ssh

3、-keygent-tdsa(我将密码设置为空方便测试。正常环境请安装keychain，keychain安装)$cd.ssh$catcatid_rsa.pub>authorized_keys$chmod600authorized_keys(将权限设置为600否者ssh将不读取公钥信息)分发publickey$ssh-copy-idslave1$ssh-copy-idslave2配置文件概述NameNode：core-site.xmlJobTracker：mapred-site.xmlDataNode：hdfs-site.xmlmaster

4、：mastersslave：slaves配置编辑namenode的配置文件$vicore-site.xmlfs.default.namehdfs://192.168.60.149:9000/hadoop.tmp.dir/usr/local/hadoop/hadooptmp编辑JobT

5、racker的配置$vimapred-site.xmlmapred.job.tracker192.168.60.149:9001mapred.local.dir/usr/local/hadoop/mapred/localmapred.system.dir/

6、tmp/hadoop/mapred/system编辑DataNode配置$vihdfs-site.xmldfs.name.dir/usr/local/hadoop/hdfs/namedfs.data.dir/usr/local/hadoop/hdfs/data

7、operty>dfs.replication3修改slave1，slave2的配置修改slave1，slave2的JobTracker的配置$vimapred-site.xmlmapred.job.tracker192.168.60.149:9001m

8、apred.local.dir/usr/local/hadoop/mapred/localmapred.sy