hadoop学习总结之三：map-reduce入门

《hadoop学习总结之三：map-reduce入门》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：·按照ASCII码存储，每行一条记录·每一行字符从0开始计数，第15个到第18个字符为年·第25个到第29个字符为温度，其中第25位是符号+/-0067011990999991950051507+0000+0043011990999991950051512+0022+0043011990999991950051518-0011+0043012650999991949032412+0111+00430126509999919490

2、32418+0078+0067011990999991937051507+0001+0043011990999991937051512-0002+0043011990999991945051518+0001+0043012650999991945032412+0002+0043012650999991945032418+0078+现在需要统计出每年的最高温度。Map-Reduce主要包括两个步骤：Map和Reduce每一步都有key-value对作为输入和输出：·map阶段的key-value对的格式是由输入

3、的格式所决定的，如果是默认的TextInputFormat，则每行作为一个记录进程处理，其中key为此行的开头相对于文件的起始位置，value就是此行的字符文本·map阶段的输出的key-value对的格式必须同reduce阶段的输入key-value对的格式相对应对于上面的例子，在map过程，输入的key-value对如下：(0,0067011990999991950051507+0000+)(33,0043011990999991950051512+0022+)(66,004301199099999195

4、0051518-0011+)(99,0043012650999991949032412+0111+)(132,0043012650999991949032418+0078+)(165,0067011990999991937051507+0001+)(198,0043011990999991937051512-0002+)(231,0043011990999991945051518+0001+)(264,0043012650999991945032412+0002+)(297,00430126509999919

5、45032418+0078+)在map过程中，通过对每一行字符串的解析，得到年-温度的key-value对作为输出：(1950,0)(1950,22)(1950,-11)(1949,111)(1949,78)(1937,1)(1937,-2)(1945,1)(1945,2)(1945,78)在reduce过程，将map过程中的输出，按照相同的key将value放到同一个列表中作为reduce的输入(1950,[0,22,–11])(1949,[111,78])(1937,[1,-2])(1945,[1,2,7

6、8])在reduce过程中，在列表中选择出最大的温度，将年-最大温度的key-value作为输出：(1950,22)(1949,111)(1937,1)(1945,78)其逻辑过程可用如下图表示：2、编写Map-Reduce程序编写Map-Reduce程序，一般需要实现两个函数：mapper中的map函数和reducer中的reduce函数。一般遵循以下格式：·map:(K1,V1) -> list(K2,V2)publicinterfaceMapperextendsJobConfi

7、gurable,Closeable{ voidmap(K1key,V1value,OutputCollectoroutput,Reporterreporter) throwsIOException;}·reduce:(K2,list(V)) -> list(K3,V3) publicinterfaceReducerextendsJobConfigurable,Closeable{ voidreduce(K2key,Iteratorvalues,         

8、    OutputCollectoroutput,Reporterreporter)   throwsIOException;} 对于上面的例子，则实现的mapper如下：publicclassMaxTemperatureMapperextendsMapReduceBaseimplementsMapper{