hadoop实验--数据去重

《hadoop实验--数据去重》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Hadoop实验报告数据去重问题背景：随着存储数据信息量的'速增长，去重无疑成为众多大数据科研人员要面对的问题之一。因此越来越多的人开始关注存储数据的缩减方法。数据压缩、单实例存储和重复数据删除等都是经常使用的存储数据缩减技术。重复数据删除往往是指消除冗余子文件。不同于压缩，重复数据删除对于数据本身并没有改变，只是消除了相同的数据占用的存储容量。重复数据删除在减少存储、降低网络带宽方面有着显著的优势，并对扩展性有所帮助。举个简单的例子：在专门为电信运营商定制的呼叫详单去重应用程序中，我们就可以看到删除重复数据的影子。同样的，对于包含相同数据包的通信网络，我们

2、可以使用这种技术来进行优化。问题描述：编写MapReduce程序读取文本文件，去掉所有数据中的重复数据后输出结果。实验名称：数据去重实验目的：1、基本了解一个Hadoop程序的结构、编译、封装、运行、查看结果等流程。2、掌握并利用并行化编程思想对数据做有意义的筛选。头验要求：完成MapReduce程序，测试其对数据的筛选能力。输入：输入是一组文本文件，在每个输入文件中每一行是一个数据。每一个元数据都是一个字符申。输出：输出文件的每一行都是在输入文件中出现过的一个数据，并且输出文件中的每一行都不相同。【数据样例】输入：inputl:2015-1-1a2015-

3、1-2b2015-1-3c2015-1-4d2015-1-5a2015-1-6b2015-1-7c2015-1-8cinput2:2015-1-1b2015-1-2a2015-1-3b2015-1-4d2015-1-5a2015-1-6c2015-1-7d2015-1-8c输出：2015-1-1a2015-1-1b2015-1-2a2015-1-2b2015-1-3b2015-1-3c2015-1-4d2015-1-5a2015-1-6b2015-1-6c2015-1-7c2015-1-7d2015-1-8c设计思路:数据去重的最终0标是让原始数据中出现次数

4、超过一次的数据在输出文件中只出现一次。我们自然而然会想到将同一个数据的所有记彔都交给一台reduce机器，无论这个数掘出现多少次，只要在最终结果中输出一次就可以了。具体就是reduce的输入应该以数据作为key，而对value-list则没有要求。当reduce接收到一个＜key，value-list〉时就直接将key复制到输出的key中，并将value设置成空值。在MapReduce流程中，map的输出＜key，value〉经过shuffle过程聚集成＜key，value-list〉后会交给reduce。所以从设计好的reduce输入可以反推出map的输出

5、key应力数掘，value任意。继续反推，map输出数据的key为数据，而在这个实例中每个数据代表输入文件中的一行内容，所以map阶段要完成的任务就是在采用Hadoop默认的作业输入方式之后，将value设置力key，并直接输出（输出中的value任意）。map中的结果经过shuffle过程之后交给reduce。reduce阶段不会管每个key有多少个value，它直接将输入的key复制为输出的key，并输出就可以了（输出中的value被设置成空了）。实验内容和过程：importjava.io.IOException;importjava.util.Stri

6、ngTokenizer;importorg.apache,hadoop.conf.Configuration;importorg.apache,hadoop.fs.Path;importorg.apache,hadoop.io.IntWritable;importorg.apache,hadoop.io.Text;importorg.apache,hadoop.mapreduce.Job;importorg.apache,hadoop.mapreduce.Mapper;importorg.apache,hadoop.mapreduce.Reducer;imp

7、ortorg.apache,hadoop.mapreduce.lib.input.FilelnputFormat;importorg.apache,hadoop.mapreduce.lib.output.FileOutputFormat;importorg.apache,hadoop.util.GenericOptionsParser;publicclassDedup{//map将输入中的value复制到输出数据的key上，并直接输出publicstaticclassMapextendsMapper〈Object,Text,Text,Text〉{privat

8、estaticTextline=newText();