基于hadoop的数据分析

《基于hadoop的数据分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、.实验报告（2014/2015学年第二学期）课程名称云计算实验名称基于Hadoop的数据分析实验时间2015年5月20日指导单位指导教师学生姓名班级学号学院(系)专业......实验报告实验名称指导教师实验类型上机实验学时2实验时间2015.5.20一、实验目的和要求【实验要求】掌握基于Hadoop单机版的数据分析【实验目的】学会利用Hadoop对不同数据集的分析与挖掘；二、实验环境虚拟机Ubuntu14.04，hadoop-1.2.1，eclipse-SDK-4.3.1三、实验原理及内容(1)在第一次实验的基础上安装e

2、clipse1.将eclipse解压到usr/local目录下：sudotarxzvfeclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz-C/usr/local2.授权：sudochmod-R777/usr/local/eclipse3.将hadoop插件拷贝到/usr/local/eclipse/plugins下...4.设置eclipse的Java环境：在eclipse下创建一个jre文件夹sudomkdirjre，进入该文件夹：cdjre，加入一条连接指令ln-s/usr/lib/j

3、vm/java-7-sun/binbin(2)在eclipse中添加Map/Reduce：点击上方window选项，依次选择openperspective，other，Map、Reduce，如下图所示：(3)设置Map/Reducelocation，选择Map/Reducelocations，newhadooplocation，将其中的内容设置成下图所示的内容：设置Advancedparameters中的tmp文件夹位置为/usr/local/hadoop/tmp，如下图所示：...(4)设置hadoop的安装路径：依次

4、点击window，preferences，HadoopMap/Reduce，设置hadoop安装路径为/usr/local/hadoop(5)在桌面新建三个文件，如图所示：(6)新建一个Map/ReduceProject：右击左侧空白处，选择新建一个如下图所示的Map/ReduceProject：点击Next，输入工程名为average，再点击finish。(7)新建一个Javaclass：右击左侧的average，依次选择New，class，设置内容如下图所示：...点击finish完成。(8)加入Java代码：pac

5、kage com.hebut.mr;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;i

6、mport org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.input.T

7、extInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;import org.apache.hadoop.util.GenericOptionsParser; public class Score{ public static class Map extends Mapper

8、e,Text,Text,IntWritable>{ // 实现map函数 public void map(LongWritable key,Textvalue,Contextcontext) throws IOException,InterruptedException{ // 将输入的纯文本文件的数据转化成Stri