hadoop实验报告

《hadoop实验报告》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于hadoop的大规模文本处理技术实验专业班级：软件1102学生姓名：张国宇号：201116040221SetupHadooponUbuntu11.0464-bit提示：前面的putty软件安装省略；直接进入JDK的安装。1.InstallSunJDK〈安装JDK>由于SunjDK在ubuntu的软件屮心屮无法找到，我们必须使用外部的PPA。打开终端并且运行以下命令：sudoadd-apt-repositoryppa:ferramroberto/javasudoapt-getupdatesudoapt-getinstallsun-java6-binsudoapt-g

2、etinstallsun-java6-jdkAdd」AVA_HOMEvariable〈配置环境变量〉：先输入粘贴下面文字：sudovi/etc/environment再将下面的文字输入进去：按i键添加，esc键退出，X保存退出；如下图：exportJAVA—HOME="/usr/lib/jvm/java-6-sun-1.6.0.26B回®/etc/environment02L,131C1,1Allubuntu«ip-10-204-201-22gATH=w/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/b

3、in:/usr/gamesnexportJAVAHOME=n/usr/lib/jvm/java-6-sun-l.6.0.26°TestthesuccessofinstallationinTerminal〈在终端测试安装是否成功〉:sudo./etc/environmentjava-version1.CheckSSHSetting〈检査ssh的设置＞sshlocalhost如果出现"connectionrefused"，你最好重新安装ssh（如下命令可以安装）：sudoapt-getinstallopenssh-serveropenssh-client如果你没有通行证s

4、sh到主机，执行下面的命令：ssh-keygen-tdsa-PH-f〜/.ssh/id_dsacat〜/.ssh/id—dsa.pub»〜/.ssh/authorized—keys2.SetupHadoop＜安装hadoop〉安装apache2sudoapt-getinstallapache2下载hadoop：sudowgethttp://apache.cs.utah.edU/hadoop/common/hadoop-l.0.4/hadoop-l.0.4.tar.gz解压hadoop所下载的文件包：tarxvfzhadoop-1.0.4.tar.gz下载最近的一个稳定

5、版本，解压。编辑/hadoop-env.sh定义java一home“use/library/java-6-sun-l.6.0.26”作为hadoop的根目录：Sudoviconf/hadoop-env.sh将以下内容加到文件最后：#Thejavaimplementationtouse.Required.exportJAVA_H0ME=/usr/lib/jvm/java-6-sun-l.6.0.26Pseudo-DistributedOperation（Single-NodeCluster）＜伪分布式操作（单节点集群）〉：将下面中间部分插入：（得到如图12,1□回®ub

6、untu«ip-10-204-201-22:Vhadoop-1.0.4xmlversion="l.0"xml-stylesheettype=_xt/xalnhref=r,二二r

7、fs.default.naiaeIhdfs://localhost:9000fs.default.name

8、name>hdfs://localhost:9000々property〉々configuration〉catconf/hdfs-site.xml:〈configuration〉〈property〉dfs.replicationl々property〉々configuration〉catconf/mapred-site.xml:〈configuration〉mapred.job.trackerlocalhost