hadoop技术预研总结

《hadoop技术预研总结》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、一．HADOOP1.hadoop安装配置1)配置流程初学hadoop，写下一些学习过程和心得体会，希望能帮助到同样学习的兄弟们三台机器：分别为master(192.168.32.5)，slave1(192.168.32.6)，slave2(192.168.32.7)master即为hadoop的Namenode节点，slave1和slave2为hadoop的Datanode节点注：以下操作均为root用户或root权限用户操作(本文章为root用户操作)1.设置机器名(在这里只要机器名不同就可以，不一定需要后缀域名)  (1).hostname分别

2、为：master.localdomain          slave1.localdomain         slave2.localdomain     分别修改各机器/etc/sysconfig/network文件，使      hostname=master.localdomain      hostname=slave1.localdomain      hostname=slave2.localdomain  (2).各机器/etc/hosts文件配置为     #cat/etc/hosts     192.168.32.5maste

3、r.localdomain master     192.168.32.6slave1.localdomain slave1     192.168.32.7slave2.localdomain slave2   注:以上机器各个机器名一定要不同，否则hadoop的raduce过程会出错，之所以各个机器名使用域名方式，是因为这样可以使linux启动时sendmain和ssclient进程启动更迅速些2.无密码登陆  (1). 本机无密码登陆(master)    从master(Namenode)上无需密码ssh到各slave(Datanode)上

4、,在master上执行如下命令：    #ssh-keygen-tdsa-P''-f~/.ssh/id_dsa     则在/root/.ssh目录中生成了两个文件为：：id_dsa和id_dsa.pub。这两个是成对出现，类似钥匙和锁。再把id_dsa.pub追加到授权key里面(当前并没有authorized_keys文件)：$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys。完成后可以实现无密码登录本机：$sshlocalhost。  (2). master(Namenode)到slavle(DataN

5、ode)无密码登陆     把NameNode上的id_dsa.pub文件追加到dataNode的authorized_keys内(以192.168.32.7节点为例)：    a.拷贝NameNode的id_dsa.pub文件：      $scpid_dsa.pubroot@192.168.32.7:/root    b.登录192.168.32.7，执行$catid_dsa.pub>>.ssh/authorized_keys    其他的dataNode执行同样的操作。    注意：如果配置完毕，如果namenode依然不能访问datanod

6、e，可以修改datanode的authorized_keys：$chmod600authorized_keys。3.关闭linux防火墙，使其永久关闭防火墙  #chkconfigiptablesoff  #serviceiptablesstop (如果只运行此一条命令，系统重启后防火墙将继续开启)4.安装JDK，配置JDK环境变量，过程略过(此需要JDK1.6+版本)5.安装hadoop   下载hadoop安装包，我下载的的为hadoop-0.20.0.tar.gz版本，解压即可(本人解压到/usr目录中)   #tar-zxvfhadoop-

7、0.20.0.tar.gz   配置hadoop环境变量,添加如下到/etc/profile中   exportHADOOP_HOME=/usr/hadoop-0.20.2   exportPATH=$HADOOP_HOME/bin:$PATH6.配置hadoop  hadoop的主要配置都在hadoop-0.20.2/conf下。  (1).在conf/hadoop-env.sh中配置Java环境(namenode与datanode的配置相同)：   $vihadoop-env.sh   配置exportJAVA_HOME=/usr/java/j

8、dk1.6 (去掉行的#注释且加java路径即可)  (2).配置conf/masters和conf/slaves文件:(