Hadoop单机模式的安装以及执行WordCount程序

《Hadoop单机模式的安装以及执行WordCount程序》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、工学院实验报告课程名称：分布式系统及云计算概论实验项目名称：Hadoop安装以及执行WordCount程序学院：工学院专业班级：姓名：学号：指导教师：2014年6月16日一、实验目的在虚拟机Ubantu上安装Hadoop单机模式并且执行WordCount程序。二、实验仪器硬件：虚拟机Ubantu软件：Windows7操作系统三、实验原理基于云计算的Hadoop实现。WordCountWordCount例子读取文本文件，并统计文件中单词出现的频数。WordCount对于hadoop的重要性，相当于HelloWorld对于JAVA的重要性。如果你想学习MapReduce变成模型，那么学习Wo

2、rdCount是一个最好的开始。输入输入包含一组文件，文件中含有很多单词输出输出是一个文本文件，文件的每一行包含一个单词和这个单词在所有输入文件中出现的次数。输入样例input1:helloworldbyeworldinput2:hellohadoopbyehadoop输出样例:bye2hadoop2hello2world2四、实验内容及步骤实验内容： 一、安装Linux操作系统 二、在Ubuntu下创建Hadoop用户组和用户 三、在Ubuntu下安装JDK 四、修改机器名 五、安装ssh服务 六、建立ssh无密码登录本机 七、安装Hadoop 八、在单机上运行Hadoop九、Hado

3、op执行WordCount程序实验步骤：一、安装Linux操作系统在虚拟机上使用镜像安装好Ubantu12.04系统，此处不多做介绍，建议安装的时候修改成中文版，更将有利于接下来的步骤。二、在Ubuntu下创建Hadoop用户组和用户这里考虑的是以后涉及到Hadoop应用时，专门用该用户操作。用户组名和用户名都设为：hadoop。可以理解为该hadoop用户是属于一个名为hadoop的用户组，这是linux操作系统的知识，如果不清楚可以查看linux相关的书籍。1、创建Hadoop用户组，如图（1）2、创建Hadoop用户，如图（2），除了Fullname自己设置以外，其他的都可以直接E

4、nter进入默认设置。3、给Hadoop用户添加权限，打开/etc/sudoers文件，如图（3）按回车键后就会打开/etc/sudoers文件了，给Hadoop用户赋予root用户同样的权限。在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL，如图（4）4、此时就可以重启Ubantu进入新建的hadoop组了，选择的是你新建的hadoop组的Fullname那个用户组，如下图所示，我设置的是hadoop01，所以我重启进入的就是hadoop01.三、在Ubuntu下安装JDK选择的是jdk1.6.0_30版本。安装文件名为

5、jdk-6u30-linux-i586.bin.1、复制jdk到安装目录（1）假设jdk安装文件在桌面，我们指定的安装目录是：/usr/local/java。可是系统安装后在/usr/local下并没有java目录，这需要我们去创建一个java文件夹，如图（5）（注：此时我已经进入了hadoop01了）（2）切换到桌面下，执行复制，如图（6）2、安装jdk（1）切换到root用户下，如图（7）（注：如果因忘记密码而认证失败，可以先修改root用户的密码，再执行第（1）步，修改root用户密码如图（8））（2）运行jdk-6u30-linux-i586.bin，如图（9）注：可能此时仍然没

6、有执行权限，那是因为在linux中，文件的默认权限是644，即使是属主用户也没有执行权限，这时我们需要更改其权限，如果你想知道某个文件的权限，可以进入该文件所在的文件夹，执行命令ls–la查看。这里将jdk-6u30-linux-i586.bin文件的权限改为777，即文件的属主用户，属组用户和其他用户对该文件拥有所有权限，当然不推荐对系统中的文件这样设置权限，因为这样就破坏了linux的安全性。）更改jdk-6u30-linux-i586.bin权限，如图（10）更改权限后再执行第（2）步，当看到如图（11）情况时，说明你安装成功了。（3）这时在/usr/local/java目录下就多

7、了一个jdk1.6.0_30文件夹.，可以查看一下，如图（12）3、配置环境变量（1）打开/etc/profile文件，如图（13）（2）添加变量如下：1.# /etc/profile: system-wide .profile file for the Bourne shell (sh(1))  2.# and Bourne compatible shells (bash(1), ksh(1), ash(1), ...).  3.