hadoop的安装与使用

《hadoop的安装与使用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop的安装与使用oldbig,NHPCC,USTCmiao@mail.ustc.edu.cn主要参考：http://blog.chinaunix.net/u/4764/index.html0.介绍   对于Hadoop来说，在HDFS看来，节点分为Namenode和Datanode，其中Namenode只有一个，Datanode可以是很多；在MapReduce看来，节点又分为Jobtracker和Tasktracker，其中Jobtracker只有一个，Tasktracker可以是很多。当前将namenode和jobtra

2、cker部署在wukong1上，wukong2,wukong3作为datanode和tasktracker。当然也可以将namenode，datanode，jobtracker，tasktracker全部部署在一台机器上。1. 系统配置   操作系统：unbuntu-7.04   jdk：sun-java6-jdk   hadoop：hadoop-0.13.0 http://www.apache.org/dyn/closer.cgi/lucene/hadoop/   硬件：三台机器，IP配置如下：   wukong1:192.16

3、8.100.1,210.45.114.2   wukong2:192.168.100.2   wukong3:192.168.100.3系统使用：ssh210.45.114.2wukong:wukong1232.修改每台机器的/etc/hosts，保证每台机器间都可以通过机器名解析加入下面几行：192.168.100.1wukong1wukong1192.168.100.2wukong2wukong2192.168.100.3wukong3wukong33.设置ssh无密码登录   在Hadoop启动以后，Namenode是通过S

4、SH（SecureShell）来启动和停止各个节点上的各种守护进程的，这就需要在节点之间执行指令的时候是不需要输入密码的方式，故我们需要配置SSH使用无密码公钥认证的方式。在没进行下面的配置前，在wukong1上执行sshwukong2的操作时，需要输入wukong@wukong2的密码。   配置wukong1上ssh的过程如下。生成密钥对：ssh-keygen-trsa,会在~/.ssh/目录下生成id_rsa和id_rsa.pub,其中id_rsa是私钥，id_rsa.pub是公钥，需要把公钥拷到所有节点的~/.ssh/au

5、thorized_keys这个文件中（包括自己本身，保证ssh登录自己时也不需要密码），如果该文件已经存在则追加到这个文件中。要正确设置authorized_key的权限为644，不然还是不行，chmod644authorized_key。当wukong1向wukong2发起ssh连接的时候，wukong2上就会生成随机数并用wukong1的公钥对这个随机数进行加密，并发送给wukong1；wukong1收到这个加密的数以后用私钥进行解密，并将解密后的数发送回wukong2，wukong2确认解密的数无误后就允许wukong1进行

6、连接了。这就完成了一次公钥认证过程。这时，可以测试一下，sshwukong2是不是已经不再需要输入密码了。   对于每个节点都要进行上面类似的操作，保证该节点到其它节点的ssh连接不需要输入密码。4.配置hadoop   由于Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。三台机器上是这样的：都有一个wukong的帐户，主目录是/home/wukong。把hadoop-0.13.0.tar.gz放到所有节点的~/目录下，wukong@wukong1:~$tarzxvfhadoop-0.1

7、3.0.tar.gz会在~/目录下生成一个hadoop-0.13.0目录，为了方便以后版本升级，建立一个链接指向要使用的hadoop版本，不妨设为hadoopwukong@wukong1:~$ln -s hadoop0.12.0  hadoop这样一来，所有的配置文件都在/hadoop/conf/目录中，所有执行程序都在/hadoop/bin目录中。但是由于上述目录中hadoop的配置文件和hadoop的安装目录是放在一起的，这样一旦日后升级hadoop版本的时候所有的配置文件都会被覆盖，因此将配置文件与安装目录分离，一种比较好的

8、方法就是建立一个存放配置文件的目录，/home/wukong/hadoop-config/，然后将/hadoop/conf/目录中的hadoop_site.xml，slaves，hadoop_env.sh，masters，这4个文件拷贝到hadoo