基于某hadoop地大数据分析报告

基于某hadoop地大数据分析报告

ID:31603090

大小:899.50 KB

页数:9页

时间:2019-01-15

基于某hadoop地大数据分析报告_第1页
基于某hadoop地大数据分析报告_第2页
基于某hadoop地大数据分析报告_第3页
基于某hadoop地大数据分析报告_第4页
基于某hadoop地大数据分析报告_第5页
资源描述:

《基于某hadoop地大数据分析报告》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库

1、实用标准文案实验报告(2014/2015学年第二学期)课程名称云计算实验名称基于Hadoop的数据分析实验时间2015年5月20日指导单位指导教师学生姓名班级学号学院(系)专业精彩文档实用标准文案精彩文档实用标准文案实验报告实验名称指导教师实验类型上机实验学时2实验时间2015.5.20一、实验目的和要求【实验要求】掌握基于Hadoop单机版的数据分析【实验目的】学会利用Hadoop对不同数据集的分析与挖掘;二、实验环境虚拟机Ubuntu14.04,hadoop-1.2.1,eclipse-SDK-4

2、.3.1三、实验原理及内容(1)在第一次实验的基础上安装eclipse1.将eclipse解压到usr/local目录下:sudotarxzvfeclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz-C/usr/local2.授权:sudochmod-R777/usr/local/eclipse3.将hadoop插件拷贝到/usr/local/eclipse/plugins下精彩文档实用标准文案4.设置eclipse的Java环境:在eclipse下创建一个jre文件夹su

3、domkdirjre,进入该文件夹:cdjre,加入一条连接指令ln-s/usr/lib/jvm/java-7-sun/binbin(2)在eclipse中添加Map/Reduce:点击上方window选项,依次选择openperspective,other,Map、Reduce,如下图所示:(3)设置Map/Reducelocation,选择Map/Reducelocations,newhadooplocation,将其中的内容设置成下图所示的内容:设置Advancedparameters中的tmp

4、文件夹位置为/usr/local/hadoop/tmp,如下图所示:精彩文档实用标准文案(4)设置hadoop的安装路径:依次点击window,preferences,HadoopMap/Reduce,设置hadoop安装路径为/usr/local/hadoop(5)在桌面新建三个文件,如图所示:(6)新建一个Map/ReduceProject:右击左侧空白处,选择新建一个如下图所示的Map/ReduceProject:点击Next,输入工程名为average,再点击finish。(7)新建一个Jav

5、aclass:右击左侧的average,依次选择New,class,设置内容如下图所示:精彩文档实用标准文案点击finish完成。(8)加入Java代码:package com.hebut.mr;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.

6、fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import 

7、org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;import org.a

8、pache.hadoop.util.GenericOptionsParser; public class Score{ public static class Map extends Mapper{ // 实现map函数 public void map(LongWritable key,Textvalue,Contextcontext) throws IOException,Inte

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。