欢迎来到天天文库
浏览记录
ID:59255042
大小:329.00 KB
页数:5页
时间:2020-09-08
《Hadoop实验--数据去重.doc》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、Hadoop实验报告数据去重问题背景:随着存储数据信息量的飞速增长,去重无疑成为众多大数据科研人员要面对的问题之一。因此越来越多的人开始关注存储数据的缩减方法。数据压缩、单实例存储和重复数据删除等都是经常使用的存储数据缩减技术。重复数据删除往往是指消除冗余子文件。不同于压缩,重复数据删除对于数据本身并没有改变,只是消除了相同的数据占用的存储容量。重复数据删除在减少存储、降低网络带宽方面有着显著的优势,并对扩展性有所帮助。举个简单的例子:在专门为电信运营商定制的呼叫详单去重应用程序中,我们就可以看到删除重复数据
2、的影子。同样的,对于包含相同数据包的通信网络,我们可以使用这种技术来进行优化。问题描述:编写MapReduce程序读取文本文件,去掉所有数据中的重复数据后输出结果。实验名称:数据去重实验目的:1、基本了解一个Hadoop程序的结构、编译、封装、运行、查看结果等流程。2、掌握并利用并行化编程思想对数据做有意义的筛选。实验要求:完成MapReduce程序,测试其对数据的筛选能力。输入:输入是一组文本文件,在每个输入文件中每一行是一个数据。每一个元数据都是一个字符串。输出:输出文件的每一行都是在输入文件中出现过的一
3、个数据,并且输出文件中的每一行都不相同。【数据样例】输入:input1:2015-1-1a2015-1-2b2015-1-3c2015-1-4d2015-1-5a2015-1-6b2015-1-7c2015-1-8cinput2:2015-1-1b2015-1-2a2015-1-3b2015-1-4d2015-1-5a2015-1-6c2015-1-7d2015-1-8c输出:2015-1-1a2015-1-1b2015-1-2a2015-1-2b2015-1-3b2015-1-3c2015-1-4d2015
4、-1-5a2015-1-6b2015-1-6c2015-1-7c2015-1-7d2015-1-8c设计思路:数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。我们自然而然会想到将同一个数据的所有记录都交给一台reduce机器,无论这个数据出现多少次,只要在最终结果中输出一次就可以了。具体就是reduce的输入应该以数据作为key,而对value-list则没有要求。当reduce接收到一个时就直接将key复制到输出的key中,并将value设置成空
5、值。 在MapReduce流程中,map的输出经过shuffle过程聚集成后会交给reduce。所以从设计好的reduce输入可以反推出map的输出key应为数据,value任意。继续反推,map输出数据的key为数据,而在这个实例中每个数据代表输入文件中的一行内容,所以map阶段要完成的任务就是在采用Hadoop默认的作业输入方式之后,将value设置为key,并直接输出(输出中的value任意)。map中的结果经过shuffle过程之后交给reduc
6、e。reduce阶段不会管每个key有多少个value,它直接将输入的key复制为输出的key,并输出就可以了(输出中的value被设置成空了)。实验内容和过程:importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;impo
7、rtorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.Mapper;importorg.apache.hadoop.mapreduce.Reducer;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;importorg.apache.hadoop.mapreduce.lib.output.Fil
8、eOutputFormat;importorg.apache.hadoop.util.GenericOptionsParser;publicclassDedup{//map将输入中的value复制到输出数据的key上,并直接输出publicstaticclassMapextendsMapper{privatestaticTextline=newText(
此文档下载收益归作者所有