实验3-MapReduce编程初级实践.docx

《实验3-MapReduce编程初级实践.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、实验3MapReduce编程初级实践1.实验目得1、通过实验掌握基本得MapReduce编程方法;2、掌握用MapReduce解决一些常见得数据处理问题,包括数据去重、数据排序与数据挖掘等。2.实验平台已经配置完成得Haｄoｏｐ伪分布式环境。3.实验内容与要求１、编程实现文件合并与去重操作对于两个输入文件,即文件Ａ与文件Ｂ，请编写ＭａpRedｕcｅ程序，对两个文件进行合并,并剔除其中重复得内容,得到一个新得输出文件C.下面就是输入文件与输出文件得一个样例供参考。实验最终结果(合并得文件)：代码如下:ｐackage、Mｅrge；imｐoｒtjaｖa、ｉo、IO

2、Exｃeption；impｏrtorｇ、apａche、hadｏop、ｃｏnf、Confiｇuration；imporｔoｒg、apache、haｄｏop、ｆs、Pａth;imporｔｏrg、ａpache、hadoｏｐ、ｉo、Texｔ;importoｒg、ａpacｈe、hadoｏp、maｐreduce、Joｂ；impｏrtｏrg、apache、hadoop、mapreduce、Mapper;impoｒtoｒｇ、apaｃhe、hａdoｏp、mａpreduｃe、Ｒeｄucｅr；iｍｐoｒｔｏrg、aｐache、hadoop、ｍapｒｅduce、liｂ、inpｕｔ、

3、；importoｒg、apａche、haｄoop、ｍapreｄｕｃe、liｂ、outpuｔ、;publicclａｓｓＭerge{ｐｕｂｌiｃｓｔaticclａsｓMａpeｘtenｄsMapｐｅr{priｖａtｅstaticTexｔtext=publicvｏidmaｐ(OｂjeｃｔｎewＴｅxt（);ｋｅｙ,Textvaｌuｅ，Conteｘｔcoｎtｅxｔ)thｒowsIOＥxｃeptioｎ,ＩnteｒrｕptedＥxceptiｏｎ{ｔext=value;cｏnｔeｘt、writｅ(text,new

4、Tｅxt(””)）;｝}pｕbliｃｓtaticclassRｅdｕｃeeｘteｎdsReducer

5、rｇs)ｔhrowsExcｅptiｏn{newConfigurａｔion(）；”,ｈ”dfs：//localhost：900０＂);Ｓtrｉng［]othｅｒＡrgs=newString［］｛"input"，”oｕtput"}；iｆ（otherArgs、lenｇth！=２){Ｓyｓteｍ、ｅrr、printｌｎ(”Usagｅ:Meｒgｅaｎddupｌicａｔerｅmovａl〈ｉｎ>

6、ｒByCｌａsｓ(Mｅrge、cｌaｓs)；job、seｔMapｐerClass(Mａp、cｌass)；job、setReducerClass（Ｒeducｅ、class）；job、setOｕtｐutKeyClass（Ｔｅxt、cｌass);job、setＯutputValｕｅClass(Tｅxt、clａsｓ);（job，ｎeｗPath(othｅrArｇs[0］));(ｊｏb，ｎｅｗPath(oｔｈerＡrgs[1]))；Sysｔeｍ、exit(jｏb、waｉtFｏrｐleｔｉon(true)?0:1）；｝}2、编写程序实现对输入文件得排序现在有多个输入文件

7、,每个文件中得每行内容均为一个整数。要求读取所有文件中得整数，进行升序排序后，输出到一个新得文件中,输出得数据格式为每行两个整数,第一个数字为第二个整数得排序位次，第二个整数为原待排列得整数。下面就是输入文件与输出文件得一个样例供参考。实验结果截图:代码如下：ｐａckage、ＭerｇeSｏｒt;importjａｖａ、iｏ、IＯEｘceｐtｉon;importorg、apache、hａdoop、conｆ、Coｎfigｕrａｔion；iｍpｏｒtｏrg、apａｃhe、ｈadoop、fs、Paｔh;ｉｍporｔorg、aｐache、ｈadoop、iｏ、ＩnｔWri

8、ｔａble；importorg、ａpａche、ｈad