用python写mapreduce函数——以count为例

《用python写mapreduce函数——以count为例》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、用python写MapReduce函数——以WordCount为例   尽管Hadoop框架是用java写的，但是Hadoop程序不限于java，可以用python、C++、ruby等。本例子中直接用python写一个MapReduce实例，而不是用Jython把python代码转化成jar文件。   例子的目的是统计输入文件的单词的词频。·输入：文本文件·输出：文本（每行包括单词和单词的词频，两者之间用't'隔开） 1.PythonMapReduce代码   使用python写MapReduce的“诀窍”是利用Hado

2、op流的API，通过STDIN(标准输入)、STDOUT(标准输出)在Map函数和Reduce函数之间传递数据。   我们唯一需要做的是利用Python的sys.stdin读取输入数据，并把我们的输出传送给sys.stdout。Hadoop流将会帮助我们处理别的任何事情。1.1Map阶段：mapper.py在这里，我们假设把文件保存到hadoop-0.20.2/test/code/mapper.py#!/usr/bin/envpythonimportsysforlineinsys.stdin:line=line.strip

3、()words=line.split()forwordinwords:print"%st%s"%(word,1)文件从STDIN读取文件。把单词切开，并把单词和词频输出STDOUT。Map脚本不会计算单词的总数，而是输出1。在我们的例子中，我们让随后的Reduce阶段做统计工作。为了是脚本可执行，增加mapper.py的可执行权限chmod+xhadoop-0.20.2/test/code/mapper.py1.2Reduce阶段：reducer.py在这里，我们假设把文件保存到hadoop-0.20.2/t

4、est/code/reducer.py#!/usr/bin/envpythonfromoperatorimportitemgetterimportsyscurrent_word=Nonecurrent_count=0word=Noneforlineinsys.stdin:line=line.strip()word,count=line.split('t',1)try:count=int(count)exceptValueError:#count如果不是数字的话，直接忽略掉continueifcurrent_word==w

5、ord:current_count+=countelse:ifcurrent_word:print"%st%s"%(current_word,current_count)current_count=countcurrent_word=wordifword==current_word:#不要忘记最后的输出print"%st%s"%(current_word,current_count)文件会读取mapper.py的结果作为reducer.py的输入，并统计每个单词出现的总的次数，把最终的结果输出到STDOUT。为了是脚本

6、可执行，增加reducer.py的可执行权限chmod+xhadoop-0.20.2/test/code/reducer.py细节：split(chara,m)，第二个参数的作用，下面的例子很给力str='server=mpilgrim&ip=10.10.10.10&port=8080'printstr.split('=',1)[0]#1表示=只截一次printstr.split('=',1)[1]printstr.split('=')[0]printstr.split('=')[1]输出1234servermpilgri

7、m&ip=10.10.10.10&port=8080servermpilgrim&ip　1.3测试代码（catdata

8、map

9、sort

10、reduce）这里建议大家在提交给MapReducejob之前在本地测试mapper.py和reducer.py脚本。否则jobs可能会成功执行，但是结果并非自己想要的。功能性测试mapper.py和reducer.py1234567891011121314[rte@hadoop-0.20.2]$cdtest/code[rte@code]$echo "foofooquuxlabsfoob

11、arquux" 

12、./mapper.pyfoo 1foo 1quux    1labs    1foo 1bar 1quux    1[rte@code]$echo "foofooquuxlabsfoobarquux" 

13、./mapper.py

14、sort -k1,1 

15、./reducer.pybar 1