hadoop学习笔记

《hadoop学习笔记》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、jia1.新建虚拟机选自定义虚拟机分配的核心数量乘以虚拟机个数小于现有的实体机的核心数hadoop要求最小的虚拟机内存是1024MB如果电脑的IP是自动获取的选桥接网（如果虚拟机想和外部的IP通信则选这个）如果没有路由器选NAT（如果你只想自己计算机内部虚拟机之间通信这需要选NAT）每个虚拟机磁盘容量最小20G（以后可以在关机状态下扩充）CD/DVD选镜像点一下虚拟机刚进来时按空格开始登陆进去虚拟机-》安装VM—toolsterm进终端成功重启虚拟机就行了以下操作是8G内存的计算机需要装(可安装3个虚拟机)：1.先挂起unbutu1

2、2.复制两个文件夹将unbutu1文件夹中东西全复制到该两个文件夹下文件--》打开点运行选我已复制此虚拟机再下载任何安装包时为安全起见，需要先更新一下系统配置sudo apt-get updatesudo apt-get upgrade更改配置文件需要使用vim编辑器所以需要先下载安装vim编辑器sudo apt-get install vim将虚拟机复制后需要更改主机名sudovim/etc/hostname（更改主机名）sudovim/etc/hosts（更改主机名后需要更改一下IP—主机名如192.168.1.1ubuntu-

3、1映射关系）sudoreboot（重启ubuntu）第二步安装JDK（1）上传jdk后将jdk压缩包放到home目录（2）sudo mkdir /usr/lib/jvm（创建/usr/lib/jvm）（3）解压jdk到刚才创建的/usr/lib/jvm目录中此时jdk安装在/usr/lib/jvm/jdk1.7.0_71sudo tar -zxvf jdk-7u71-linux-x64.tar.gz -C /usr/lib/jvm（4）sudo vim /etc/profile（修改环境变量）加入：export JAVA_HOME=

4、/usr/lib/jvm/jdk1.7.0_71（jdk安装路径）export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/libexport HADOOP_INSTALL=/usr/local/hadoop-1.2.1export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin使环境变量生效（5）source /etc/profile配置完了之后最好测一下用

5、如下命令echo$PATH显示环境变量显示如下：/usr/lib/jvm/jdk1.7.0_71/bin:/usr/local/bin:/usr/bin:/bin:/usr/local/games:/usr/games:/usr/local/hadoop-1.2.1/bin:/usr/local/hadoop-1.2.1/sbin配置默认JDK版本（6）sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7.0_71/bin/java 300

6、（7）sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_71/bin/javac 300（8）sudo update-alternatives --config java（9）sudo update-alternatives --config javac（10）java –version（检查是否成功）成功则显示：java version "1.7.0_71"Java(TM) SE Runtime Environment (bu

7、ild 1.7.0_71-b14)Java HotSpot(TM) 64-Bit Server VM (build 24.71-b01, mixed mode)第三步配置ssh实现免密码登陆（1）sudovim/etc/hosts（修改DNS客户端配置实现IP-主机名映射关系）master和slaves都需要配置对应方便相互访问比如：192.168.1.1ubuntu-1192.168.1.2ubuntu-2192.168.1.3ubuntu-3192.168.1.4ubuntu-4192.168.1.5ubuntu-5192.16

8、8.1.6ubuntu-6（2）pingubuntu-1(使用ping命令测试两台主机是否连通)SSH免密码操作：（3）sudoadduserhadoop（创建hadoop用户，我们使用hadoop用户进行集群连接）（4）sudosu