火龙果-MapReduce简介ppt课件.ppt

《火龙果-MapReduce简介ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Ch.2.MapReduce简介主讲人：黄宜华MapReduce海量数据并行处理Ch.2.MapReduce简介1.对付大数据处理-分而治之2.构建抽象模型-Map和Reduce3.上升到构架-自动并行化并隐藏低层细节4.MapReduce的主要设计思想和特征大规模数据处理时，MapReduce在三个层面上的基本构思如何对付大数据处理：分而治之对相互间不具有计算依赖关系的大数据，实现并行最自然的办法就是采取分而治之的策略上升到抽象模型：Mapper与ReducerMPI等并行计算方法缺少高层并行编程模型，为了克服这一缺陷，MapReduce借鉴了Lis

2、p函数式语言中的思想，用Map和Reduce两个函数提供了高层的并行编程抽象模型上升到构架：统一构架，为程序员隐藏系统层细节MPI等并行计算方法缺少统一的计算框架支持，程序员需要考虑数据存储、划分、分发、结果收集、错误恢复等诸多细节；为此，MapReduce设计并提供了统一的计算框架，为程序员隐藏了绝大多数系统层面的处理细节什么样的计算任务可进行并行化计算？并行计算的第一个重要问题是如何划分计算任务或者计算数据以便对划分的子任务或数据块同时进行计算。但一些计算问题恰恰无法进行这样的划分！Ninewomencannothaveababyinonemont

3、h!例如：Fibonacci函数:Fk+2=Fk+Fk+1前后数据项之间存在很强的依赖关系！只能串行计算！结论：不可分拆的计算任务或相互间有依赖关系的数据无法进行并行计算！1.如何对付大数据处理：分而治之大数据的并行化计算一个大数据若可以分为具有同样计算过程的数据块，并且这些数据块之间不存在数据依赖关系，则提高处理速度的最好办法就是并行计算例如：假设有一个巨大的2维数据需要处理(比如求每个元素的开立方)，其中对每个元素的处理是相同的,并且数据元素间不存在数据依赖关系,可以考虑不同的划分方法将其划分为子数组,由一组处理器并行处理如何对付大数据处理：分而治

4、之大数据的并行化计算如何对付大数据处理：分而治之合并Master：负责划分和分配任务Workder：负责数据块计算大数据任务划分和并行计算模型如何对付大数据处理：分而治之大数据计算任务子任务子任务子任务子任务……任务划分计算结果结果合并借鉴函数式设计语言Lisp的设计思想函数式程序设计(functionalprogramming)语言Lisp是一种列表处理语言(Listprocessing)，是一种应用于人工智能处理的符号式语言，由MIT的人工智能专家、图灵奖获得者JohnMcCarthy于1958年设计发明。Lisp定义了可对列表元素进行整体处理的各

5、种操作，如：如：(add#(1234)#(4321))将产生结果：#(5555)Lisp中也提供了类似于Map和Reduce的操作如:(map‘vector#+#(12345)#(1011121314))通过定义加法map运算将2个向量相加产生结果#(1113151719)(reduce#’+#(1113151719))通过加法归并产生累加结果752.构建抽象模型：Map与ReduceMap:对一组数据元素进行某种重复式的处理Reduce:对Map的中间结果进行某种进一步的结果整理MPI中的数据规约操作ReduceMPI规约操作编程示例—计算积分(参见

6、Ch.1)for(i=myid;i

7、ofx*xinregion[%d,%d]=%16.15f",a,b,inte);}MPI_Finalize();}Theintegalofx*xinregion[0,10]=333.33345构建抽象模型：Map与Reduce构建抽象模型：Map与ReduceMPI中的数据规约操作Reduce将一组进程的数据按照指定的操作方式规约到一起并传送给一个进程MPI_Reduce(sendbuf,recvbuf,count,datatype,op,root,comm)其中规约操作op可设为下表定义的操作之一：MPI_MAX求最大值MPI_MIN求最小

8、值MPI_SUM求和MPI_PROD求积MPI_LAND逻辑与MPI_BAND按位与MPI_L