在Linux 上安装Hadoop 教程.pdf

《在Linux 上安装Hadoop 教程.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、在Linux上安装Hadoop教程在虚拟机中安装的Ubuntu系统下搭建Hadoop集群时首先要解决的问题是将宿主机的文件拷贝到虚拟机上。采用的简单方法是宿主机使用Serv-U建立一个FTP然后在虚拟机上登录将文件拷出来。要先熟悉Linux的基本概念和操作，如：cd、ls、tar、cat、ssh、scp、cp、rm、sudo、su、apt-get等操作。一.实践环境：Ubuntu10.04+jdk1.6+hadoop-0.20.1机器名IP作用Master192.168.0.3Namenode、mast

2、er、jobtrackerSlave1192.168.0.4Datanode、slave、tasktrackerSlave2192.168.0.6Datanode、slave、tasktracker二.安装步骤：1.在虚拟机上安装Ubuntu10.04。这个很简单可以上网参考基本上是一直“下一步”就行。注意两个地方：一个是出现选择存储空间时直接选择使用整个磁盘就行，不要进行手动分区。第二个就是我才用的上网方法是NAT技术。配置详情在11.30日的日志里。2.对三台虚拟机做一下更新。$sudoapt-ge

3、tupdate。后面要安装软件时，如果没有更新，在安装所需软件时，可能会说找不到软件，安装不上。注意选择软件源时不要仅仅是一个网站，建议使用“中国的服务器”。3.修改机器名和hosts文件。IP为192.168.128.2的虚拟机做namenode机器名叫master。IP为192.168.128.3和192.168.128.4的虚拟机做datanode机器名分别叫slave1，slave2第一步：修改三台虚拟机的机器名。对master$vi/etc/hostname//sudohostnamemast

4、er倒是有用啊进入文件后将机器名改成master对slave$vi/etc/hostname进入文件后机器名改成slave1$vi/etc/hostname第二步：修改三台虚拟机的/etc/hosts文件。对master和slavevi/etc/hosts进入文件后原内容删除加入如下内容。192.168.0.3mastermaster192.168.0.4slave1slave1192.168.0.6slave2slave24.在三台虚拟机上分别新建一个名字为jsj的用户。第一步：root@master

5、:~$adduserjsj第二步：提示你要求你填写一些信息，可以直接回车。第三步：设置jsj这个用户的密码（尽量简单一致）。Sudo第四步：root@master:~/home$chown-Rjsj:jsjjsj//将jsj文件夹的所用者改成jsj用户的。否则我们用adduserjsj创建了jsj用户后，jsj用户不能在自己的主目录下创建文件夹，（如：$mkdir.ssh）提示没有权限创建文件夹。要添加新用户到sudo，最简单的方式就是使用usermod命令。运行$sudousermod-Gadminu

6、sername这就你要作的，然而，如果用户已经是其他组的成员，你需要添加-a这个选项，象这样$sudousermod-a-Gadminusername5.在三台虚拟机上分别配置ssh无密码登录。第一步：root@master:~$sudoapt-getinstallssh//开启ssh服务。第二步：jsj@master:~$mkdir.ssh在三台虚拟机的/home/jsj目录下都用jsj用户建立一个.ssh目录第三步：jsj@master:~/.ssh/$ssh-keygen–trsa–P‘’–f~/

7、.ssh/id_dsassh-keygen-trsa-P""//这个命令将为masters上的jsj用户生成其密钥对，生成的密钥对id_dsa，id_dsa.pub，默认存储在/home/jsj/.ssh目录下。第四步：jsj@master:~/.ssh/$catid_dsa.pub>>authorized_keys。cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys//把id_dsa.pub追加到授权key里面(当前并没有authorized_keys文件是你也可

8、以直接使用cp命令)。至此无密码登录到本机已经配置好了。可以使用$sshlocalhost命令测试一下。第一次登录时要输入yes，之后就不用了。第五步：jsj@master:~/.ssh/$scpid_dsa.pubjsj@slave1:/home/jsj/.ssh///将id_dsa.pub文件传送到slave1这台虚拟机上。slave2同理。現在的ssh使用同樣的方法會出現錯誤訊息Agentadmittedfailuretosignus