伪分布hadoop搭建

《伪分布hadoop搭建》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、目录1.搭建LINUX环境11.1.安装VMWare虚拟机11.2.安装linux11.2.网络配置12.SSH配置无密码登录22.1.配置目的22.2.配置步骤23安装配置JDK43.1.安装jdk43.2.安装linux44.安装配置HADOOP64.1.安装hadoop64.2.配置hadoop相关文件64.3.测试hadoop搭建是否成功7附录.安装配置HADOOP991搭建linux环境1.1安装VMWare虚拟机Ø根据主机操作系统选择版本，下载完成后按照提示安装。Ø本文档中主机系统为xp32位，选用VMware10。1.2安装linuxØ从网上下载linu

2、x系统镜像文件，本文档选用ubuntu12.04版本。Ø打开VM虚拟机界面，选择“创建新的虚拟机”。之后按照提示安装即可。注意在配置硬件时将网络链接设置为.nat模式。1.3网络配置本次搭建的是伪分布式hadoop环境，namenode,datanode,JobTracker和TaskTracker都在同一台虚拟机上，指向的位置都是本机，所以不需要配置host及相应IP。如果需要配置可以使用ifconfig修改IP，并将相关信息配置到etc/hosts文件中。92ssh配置无密码登录2.1配置目的Hadoop集群各个节点进行数据交互时，需要输入密码进行验证。为用户配置

3、无密码登录成功后可以省去密码验证步骤，大大提高效率。如果只是出于实验目的，为了简化搭建过程配置无密码登录这一步骤也可省去。另外，如果为sjx用户配置了无密码登录，则接下来安装配置jdk和hadoop都需要在sjx用户下进行配置安装。2.2配置步骤1)使用ssh-keygen-trsa命令配置ssh密匙路径，如图2-1-1所示图2-1-12)打开~/.ssh目录，执行sudocatid_rsa.pub>>authorized_keys命令，将将公钥放到authorized_keys文件中（如果搭建完全分布式环境可以使用“ sudoscpauthorized_keys远程

4、主机用户名@ip:存放路径”命令将文件上传至其他主机），如图2-1-2所示。图2-1-23)使用chmod644authorized_keys命令修改authorized_keys权限，如图2-1-3所示。9图2-1-31)使用sshubuntu(此处ubuntu为主机名称)命令检测配置是否成功，如果执行命令过程中不需输入密码即为成功，如图2-1-4所示图2-1-493安装配置jdk3.1安装jdk1)在主机中下载安装winSCP，以及linux版本的jdk，本文档中使用的jdk版本为jdk-6-dlj-linux-i586.bin。2)打开winSCP，新建站点，如

5、图3-1-1所示。图3-1-13)使用winSCP上传jdk文件至linux中任意目录下。4)在usr目录下新建java文件夹，并将jdk文件移动至java文件夹。5)在java文件夹下使用./jdk-6-dlj-linux-i586.bin命令解压文件至当前目录，结果如图3-1-2所示。图3-1-23.2配置jdk1)使用sudovietc/profile命令打开profile文件，在文件中添加如图3-2-1所示内容。9其中JAVA_HOME以及JRE_HOME配置为java文件的安装目录，HADOOP_HOME以及PATH中的hadoop路径可以先不配置。3-2-

6、11)使用source/etc/profile命令立即更新文件，也可以注销用户。然后使用java–version和javac-version命令查看java版本，如果输出如图3-2-2所示内容，即是配置成功。图3-2-22)编写一个helloworld程序查看是否可以执行。3)如果过程中出现错误，首先检查etc/profile配置文件是否正确，除了打开文件仔细排查外也可以使用echo$JAVA_HOME、echo$PATH、echo$CLASSPATH命令查看是否可以正确输出内容，正确输出内容3-2-3所示（根据安装位置不同输出内容也会有所差距）。图3-2-34)如果

7、依旧报错，检查$JAVA_HOME和$JRE_HOME下是否分别存在tools.jar和rt.jar。如果这两个文件不存在，则在lib目录中使用unpack200tools.packtools.jar命令将lib目录中的tools.pack文件打包为tools.jar。如果这种情况确实存在，则$JRE_HOME下的lib的jess.jar文件也需要检查，如果不存在则用上述方法进行压缩，否则在后面hadoop的配置中也会出现问题。94安装配置hadoop4.1安装hadoop下载hadoop0.20.2安装文件后使用winSCP将文件上传至usr/lo