资源描述:
《超大规模数据挖掘架构及方法论》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、超大规模数据挖掘架构及方法论更深入地洞察更科学地决策Copyright©2007,Geni-sageTechnologyCO.,LTD.AllrightsreservedFurtherInsight,BetterDecisions议题超大规模数据挖掘架构主流并行计算架构数据挖掘并行特点GDM并行架构数据分析方法论2Copyright©2007,Geni-sageTechnologyCO.,LTD.AllrightsreservedFurtherInsight,BetterDecisions
2、议题超大规模数据挖掘架构主流并行计算架构数据挖掘并行特点GDM并行架构数据分析方法论3Copyright©2007,Geni-sageTechnologyCO.,LTD.AllrightsreservedFurtherInsight,BetterDecisionsMPI(1)设计一套应用程序接口,使编程者不需要面对编译器、操作系统执行包。(2)允许高效通信:避免内存到内存的拷贝(memory-to-memorycopying),允许overlap计算设计目标和通信,任务分解到各线程。(3)
3、支持异构环境。(4)采取可靠的通信接口:编程者不用应对通信失败。(5)支持多用户平台,而不需要明显的程序修改。(6)线程安全。缺点:串行代码cpu、内存资源重复占用;4Copyright©2007,Geni-sageTechnologyCO.,LTD.AllrightsreservedFurtherInsight,BetterDecisionsMPI基本函数MPI_INIT:启动MPI环境MPI_COMM_SIZE:确定进程数MPI_COMM_RANK:确定自己的进程标识符MPI_SEND:发送一
4、条消息MPI_RECV:接收一条消息MPI_FINALIZE:结束MPI环境5Copyright©2007,Geni-sageTechnologyCO.,LTD.AllrightsreservedFurtherInsight,BetterDecisions点对点通信阻塞发送MPI_Send(buffer,count,type,dest,tag,comm)非阻塞发送MPI_Isend(buffer,count,type,dest,tag,comm,request)4种消息传递函数阻塞接收MPI_Re
5、cv(buffer,count,type,source,tag,comm,status)非阻塞接收MPI_Irecv(buffer,count,type,source,tag,comm,request)标准通信模式(MPI_SEND)缓存通信模式(MPI_BSEND)4种通信模式同步通信模式(MPI_SSEND)就绪通信模式(MPI_RSEND)Copyright©2007,Geni-sageTechnologyCO.,LTD.AllrightsreservedFurtherInsight,Bett
6、erDecisions集合通信通信:MPI_Bcast(广播)MPI_Scatter(发布)MPI_Gather(搜集)同步:MPI_Barrier规约:MPI_ReduceCopyright©2007,Geni-sageTechnologyCO.,LTD.AllrightsreservedFurtherInsight,BetterDecisionsOpenMPI(1)提供一个标准的共享内存并行架构。(2)建立一个简单的标示符集合,使得通过3、4个标示符就可以将程序并行化。设计目标(3
7、)能够同时提供粗粒度和细粒度并行。(4)不需要编程人员学习消息通信包和撰写底层消息通信代码。(1)基于OpenMPI思想编写并行程序;(2)利用OpenMPI编译器执行并行程序,生成多线编程及程程序(包含线程、共享变量、子线程变量、执行流程barriers等);(3)在多核计算机上执行编译后的并行程序。支持for循环和sections并行缺点:(1)需要预编译并行程序,流程复杂;(2)编译后的并行代码可读性较差。8Copyright©2007,Geni-sageTechnologyCO.,LTD.A
8、llrightsreservedFurtherInsight,BetterDecisions其它并行计算思想或平台缺点Map-Reduce(Fork/Join)需要对程序进行map、reduce设计,对串行代码调整较大;由于是分布式并行,因此仅适合比较容易map、reduce设计的场景,适用算法有限。Terracotta集群平台虚拟机层面并行,基本无需调整串行代码,但调度和负载均衡机制考虑较少。9Copyright©2007,Geni-sageTechnology