Hadoop安装配置超详细步骤.pdf

《Hadoop安装配置超详细步骤.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Hadoop的安装1、实现linux的ssh无密码验证配置.2、修改linux的机器名，并配置/etc/hosts3、在linux下安装jdk，并配好环境变量4、在windows下载hadoop1.0.1，并修改hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml，masters，slaves文件的配置5、创建一个给hadoop备份的文件。6、把hadoop的bin加入到环境变量7、修改部分运行文件的权限8、格式化hadoop，启动hadoop注意：这个顺序并不是一个写死的顺序，就得按照这个来。如果你知道原理，可

2、以打乱顺序来操作，比如1、2、3，先哪个后哪个，都没问题，但是有些步骤还是得依靠一些操作完成了才能进行，新手建议按照顺序来。一、实现linux的ssh无密码验证配置（1）配置理由和原理Hadoop需要使用SSH协议，namenode将使用SSH协议启动namenode和datanode进程，(datanode向namenode传递心跳信息可能也是使用SSH协议，这是我认为的，还没有做深入了解)。大概意思是，namenode和datanode之间发命令是靠ssh来发的，发命令肯定是在运行的时候发，发的时候肯定不希望发一次就弹出个框说：有一台机器连接我，让他连吗。所以就要求后台

3、namenode和datanode无障碍的进行通信。以namenode到datanode为例子：namenode作为客户端，要实现无密码公钥认证，连接到服务端datanode上时，需要在namenode上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到datanode上。当namenode通过ssh连接datanode时，datanode就会生成一个随机数并用namenode的公钥对随机数进行加密，并发送给namenode。namenode收到加密数之后再用私钥进行解密，并将解密数回传给datanode，datanode确认解密数无误之后就允许namenode进行连

4、接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端namenode公钥复制到datanode上。（2）具体操作生成密钥的方法，是操作在namenode上的，在linux上输入ssh-keygen-trsa一直回车，可以生成密钥。我们办公室的namenode上已经有了生成好的密钥，所以不用生成。只需将namenode上的密钥copy下来，复制到需要装hadoop的电脑上即可。1、在namenode上找到/root/.ssh文件，会看到两个文件id_rsa.pub，id_rsa。然后执行cpid_rsa.pubauthorized_keys然后sshl

5、ocalhost验证是否成功，第一次要你输入yes，以后就不需要了。(这是自我验证，把id_rsa.pub文件拷贝到authorized_keys,然后自我检验，自己连自己看看能否成功)2、拷贝密钥方法一：你可以使用WinSCP软件，将authorized_keys文件复制到datanode的/root/.ssh文件里。方法二：你可以在linux上输入[root@namenode1~]#cd/root/.ssh[root@namenode1.ssh]#lsauthorized_keysid_rsaid_rsa.pubknown_hosts[root@namenode1.ss

6、h]#szauthorized_keys(将文件下载到你电脑)然后在你要装datanode上输入[root@datanode1_3~]#cd/root/.ssh[root@datanode1_3.ssh]#rz（选择文件上传到datanode的对应文件上）将authorized_keys传到datanode的/root/.ssh上。方法三：输入命令行：[root@namenode1.ssh]#scpauthorized_keys192.168.1.109(datanode的IP):/root/.ssh这是拷贝命令，将namenode上的authorized_keys拷贝到d

7、atanode的/root/,ssh上。（3）验证配置成功的方法在namenode上输入：sshdatanode的IP地址(或者在hosts文件配置好后，也可以使用datanode的机器名)第一次连接时，会出现一个问题，输入yes，就可以连到datanode的机子上了，无需密码。root@namenode1~]#sshdatanode1_2Theauthenticityofhost'datanode1_2(192.168.1.117)'can'tbeestablished.RSAkeyfingerprintis2b