欢迎来到天天文库
浏览记录
ID：15956300
大小：930.50 KB
页数：34页
时间：2018-08-06
《hadoop使用手册(第一版) 修订版》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、华中科技大学魏立徐水波 012-3-4d 2012-7-29Hadoop使用手册--Hadoop安装部署及应用目录第一部分Hadoop安装与部署3第一节Hadoop部署31.准备资源32.安装流程43.配置流程44.可能遇到问题5第二节单机伪分布61.配置文件62.格式化HDFS73.启动
2、Hadoop监护进程74.复制输入文件到HDFS75.运行wordcount例子76.输出结果77.停止Hadoop系统7第三节完全分布81.系统规划安排82.修改hosts83.配置ssh84.配置masters和slaves95.配置文件96.运行准备107.运行例子108.关闭Hadoop进程119.说明1110.扩展至集群搭建11第四节在eclipse下使用Hadoop121.下载Eclipse包122.解压Eclipse包123.修改Eclipse权限124.Eclipse环境配置125.拷贝hado
3、op插件136.准备输入文件147.启动Eclipse148.设置Hadoop安装文件夹路径149.新建Map/Reduce项目1410.导入wordcount例子1411.运行例子1412.查看结果15第二部分Hadoop的小应用实例15数据去重151.前言152.实例的描述153.设计思路164.源代码165.运行过程与结果186.源代码分析24第三部分Hadoop大型应用介绍25第一节音乐社区网站Last.fm举例251.Last.fm使用Hadoop的理由262.Last.fm在Hadoop应用上产生图
4、表的处理过程263.总结29第二节Rackspace系统日志分析举例291.日志292.收集和存储303.日志的MapReduce模型304.总结32第一部分Hadoop安装与部署第一节Hadoop部署1.准备资源注意：如果下的包不一致，请在安装与配置阶段注意修改对应参数。由于Ubuntu和Eclipse包过大，通过官网下载速度也相当快，这里就不发布共享了，我把Hadoop和JDK共享到我的网盘（http://115.com/file/ben1bt8x#Hadoop和JDK安装文件.rar），以便下载。（1）U
5、buntu系统（具体版本不限）说明:到官网上下载Ubuntu镜像，可以刻盘安装，也可以用wubi安装，这里选择32位或64位直接决定着jdk包的选择（建议选32位），选择32位，则后面jdk选择i586系列，选择64位则jdk选择x64系列，安装ubuntu时请断网(不断网会Ubuntu安装过程中会更新，导致安装时间过长)操作，之后配置请联网。（2）Hadoop0.20.2包说明:到http://mirror.uoregon.edu/apache/hadoop/common/hadoop-0.20.2/下载ha
6、doop-0.20.2.tar.gz包即可。（3）Java6-jdk包说明：这里我下载的是后缀为bin的文件。（4）SSH包说明：在终端中输入sudoapt-getinstallssh，联网下载安装，安装过程中可能由于网络原因，出现安装问题，这个问题一段时间后网络状况好可安装成功。也可以通过更改Ubuntu的源来解决这个问题。（5）Eclipse包说明：到www.eclipse.org/downloads/处下载Linux版本的安装包或者直接在ubuntu软件中心内下载安装eclipse。推荐在Ubuntu平台
7、下下载，不要在Window上下载，容易出问题，在实验中遇到过这样的问题，可能与平台兼容性有关。2.安装流程（括号内容为说明，请复制前面的代码到终端执行）a.安装JDK在终端中输入（1）sudomkdir/usr/Java（新建Java文件夹）sudocpjdk的路径/usr/Java（jdk的路径可以采用直接将文件拖入终端而后显示的方式）（2）cd/usr/Java（进入到Java目录下）sudochmodu+xjdk-6u26-dlj-linux-i586.bin（改变文件权限为可执行）（3）sudo./jd
8、k-6u26-dlj-linux-i586.bin（执行安装，不停的回车，显示完协议后，提示是否同意协议，输入yes）b.安装Hadoop（1）sudocphadoop的路径/usr/local（将hadoop-0.20.2tar.gz拖入终端后即可显示hadoop的路径）（2）cd/usr/local（进入到local目录）sudotar-xzfhadoop-0.20.2.tar.g
此文档下载收益归作者所有
