第39课：MapReduce分析气象数据动手编程实战课堂笔记

《第39课：MapReduce分析气象数据动手编程实战课堂笔记》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、一：数据0067011990999991950051507004888888889999999N9+00001+99999999999999999999990067011990999991950051512004888888889999999N9+00221+99999999999999999999990067011990999991950051518004888888889999999N9-00111+99999999999999999999990067011990999991949032412004888888889999999N9+01

2、111+99999999999999999999990067011990999991950032418004888888880500001N9+00001+99999999999999999999990067011990999991950051507004888888880500001N9+00781+9999999999999999999999元数据描述：_第15-19个字符表示year,例如1950年、1949年等；第45・50个字符表示的是温度，例如-00111.+00001第50位只能是0、1>4、5、9等几个数字；是数据有效性的一个

3、校验，只是一个限定条件。实际生产环境下数据的有效性肯定进行限制的。自己也可以定义的。补充说明：在生产环境下我们拿到的Log信息一般都有很多列，具体的列和列的组合构成了实际上不同的业务意义；二：通过MapReduce计算气彖数据代码实现1,Mapper的生命周期：Selectmethodstooverrideorimplement:G▼■cm叩perIocleanup(Context)匚omap(LongWritablefText,Context)erun(Contex

4、t)□osetup(Context)►□OObject一:前置性的生命周期方法是setup,在setup中可以做初始化的一些工作，例如打开数据库连接；二:在map屮是正式的处理业务逻辑方法；三:Cleanup中是清理资源，例如关闭数据库连接等；四:Run是整个Mapper的运行的引擎,会不断的根据Reader读取到的Key和Value來不断的调用map方法；2,在Reducer中可以通过setup指定不同的数据存储地，例如把结果存储在数据库▼•cReducerIoclean

5、up(Context)roreduce(TextflterablefContext)厂erun(Context)「osetup(Context)►H©Object3,编程的时候尽量减少复用对象，例如Text等在Hadoop屮是非常笨重的，此时我们在Mapper和Reducer屮最好是声明Text的局部变量，然后不断的复川该变量；4,整个实现代码如卜•所示：packagecom.dtspark.hadoop;importjava.io」OException;importorg.apache.hadoop.conf.Co

6、nfiguration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io」ntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.Mapper;importorg.apache.hadoop.mapreduce.Reducer

7、;importorg.apache.hadoop.mapreduce.lib.input.FilelnputFormat;importorg.apache.hadoop.mapreduce」ib・input.TextlnputFormat;importorg.apache.hadoop.mapreduce」ib.output・FileOutputFormat;importorg.apache.hadoop.mapreduceJib.output.TextOutputFormat;imDortcom.dtspark.hadoop.HelloHa

8、doooWordCountMap;imDortcom.dtspark.hadoop.HelloHadoop.WordCountReduce;★通过分析气彖的口，忐数