hadoop安装指南及基本命令

《hadoop安装指南及基本命令》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Hadoop安装指南安装JDK（参考jdk的安装文档）关闭防火墙：（1） 重启后永久性生效：   开启：chkconfig iptables on   关闭：chkconfig iptables off   （2） 即时生效，重启后失效：   开启：service iptables start   关闭：service iptables stop设置DNS解析Hadoop集群之间通过主机名互相访问，所以在安装时需要设置dns解析Vi/etc/hosts在最后一行加上IP地址和主机名，中间一空格隔开设置SSH免密码

2、登陆：命令“ssh-keygen–trsa”表示使用rsa加密方式生成密钥，回车后会提示三次输入信息，直接回车就OK命令“cpid_rsa.pubauthorized_keys”用于生成授权文件验证ssh无密码登陆命令：sshlocalhost安装hadoop安装程序包将hadoop-1.1.2.tar.gz放在usr/hadopp目录下命令:tar–xzvfHadoop-1.1.2.tar.gz设置环境变量Vi/etc/profile在最后面输入：ExportHADOOP_HOME=/usr/Hadoop/Ha

3、doop-1.1.2ExportPATH=$PATH:$HADOOP_HOME/bin修改hadoop配置文件1.hadoop-env.shexportJAVA_HOME=/usr/local/jdk/2.core-site.xmlfs.default.namehdfs://hadoop0:9000changeyourownhostname

4、ty>hadoop.tmp.dir/usr/local/hadoop/tmp3.hdfs-site.xmldfs.replication1dfs.permissionsfalse

5、roperty>4.mapred-site.xmlmapred.job.trackerhadoop0:9001changeyourownhostnameHadoop集群环境的搭建1、准备机器一台master，若干台slave，配置每台机器的/etc/hosts保证各台机器

6、之间通过机器名可以互访，当前准备三台机器：对三台机器分别安装hadoop环境，SSH秘密登陆和DNS解析。192.168.56.23node1（master）192.168.56.24node2（slave1）192.168.56.25node3（slave2）机器名IP地址作用Node1192.168.56.23NameNode、JobTrackerNode2192.168.56.23DataNode、TaskTrackerNode3192.168.56.23DataNode、TaskTracker将ssh生成

7、的公钥相互拷贝到对方机器上[hadoop@hadoop.ssh]$scpid_rsa.pubnode2:/home/hadoop/.ssh/[hadoop@hadoop.ssh]$scpid_rsa.pubnode3:/home/hadoop/.ssh/将拷贝过来的id_rsa.pub中的内容追加到authorized_keys，以确保机器之间可以通过ssh无密码登陆catid_rsa.pub>>authorized_keys测试：sshnode1或者sshnode2不需要密码可直接登陆则安装成功。2分别安装ha

8、doop环境配置masters和slaves主从结点配置conf/masters和conf/slaves来设置主从结点，注意最好使用主机名，并且保证机器之间通过主机名可以互相访问，每个主机名一行。vimasters：输入：node1vislaves：输入：node2node33格式化分布是系统输入命令：hadoopnamenode–format4启动所有节点输入命令：st