并行编程模式

《并行编程模式》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、并行计算的硬件平台SMP系统(SymmetricMultiProcessing),对称多处理系统MPP系统(MassivelyParallelProcessing)，大规模并行处理系统SMP系统与MPP系统比较SMP(SymmetricMultiProcessing),对称多处理系统内有许多紧耦合多处理器，在这样的系统中，所有的CPU共享全部资源，如总线，内存和I/O系统等，操作系统或管理数据库的复本只有一个，这种系统有一个最大的特点就是共享所有资源。对称性：系统中任何处理器均可以访问任何存储单元和I

2、/O设备。SMP系统与MPP系统比较MPP(MassivelyParallelProcessing)，大规模并行处理系统，这样的系统是由许多松耦合的处理单元组成的，要注意的是这里指的是处理单元而不是处理器。每个单元内的CPU都有自己私有的资源，如总线，内存，硬盘等。在每个单元内都有操作系统和管理数据库的实例复本。这种结构最大的特点在于不共享资源。并行编程模式并行编程模式主要有以下三种：共享地址空间模式：以OpenMP为代表，主要是利用添加并行化指令到串行程序中，由编译器完成自动并行化。消息传递模式：以

3、MPI为代表，PVM是消息传递模式的一个变种。数据并行模式：比较少见，但以其独特的处理方式受到特定用户群的喜欢并行编程模式可以这样打比方：作并行计算好比是盖楼房，你有了MPI就好比是有了砂石，水泥和钢材，你可以盖最美的房子，但你必须使用最原始状态的原材料，付出可观的智力劳动；你有了OpenMP就好比是有了预制板和各种预制件，可以非常快速地造房子，事半功倍；你有了数据并行环境，可以比作你有了包工头，很多事情您就可以完全依靠他了。也许比喻方式不是很恰当，但是三种编程模式的优劣、效率是很有差别的，可以不夸张

4、地说OpenMP比MPI要容易很多倍MPIMPI（MessagePassingInterface）是消息传递并行程序设计的标准之一.MPI正成为并行程序设计事实上的工业标准。MPI的实现包括MPICH、LAM、IBMMPL等多个版本，最常用和稳定的是MPICH，曙光天潮系列的MPI以MPICH为基础进行了定制和优化。PVMPVM（并行虚拟机，ParallelVirtualMachineComputing）是一个软件包。通过它，我们可以组成一个异构的系统，它使用起来就像一个单一的但能力强大的并行计算机，

5、而它本身可以由一些Unix或windows的计算机组成PVM最早由美国的田纳西大学，橡树岭国家实验室以及埃默里大学开发成功。第一个版本在ORNL（橡树岭国家实验室）于1989年写成，后来，田纳西大学将其重写，并于1991年发布了版本2。版本3于1993年发布，支持容错以及更好的可移动性。OpenMPOpenMP提供了对并行算法的高层的抽象描述，程序员通过在源代码中加入专用的pragma来指明自己的意图，由此编译器可以自动将程序进行并行化，并在必要之处加入同步互斥以及通信。当选择忽略这些pragma，或

6、者编译器不支持OpenMP时，程序又可退化为通常的程序(一般为串行)，代码仍然可以正常运作，只是不能利用多线程来加速程序执行。OpenMPOpenMP支持的编程语言包括C语言、C++和Fortran。要在VisualC++2005中使用OpenMP其实不难，只要将Project的Properties中C/C++里Language的OpenMPSupport开启（参数为/openmp），就可以让VC++2005在编译时支持OpenMP的语法了；而在编写使用OpenMP的程序时，则需要先includeOp

7、enMP的头文件：omp.h空间上的并行并行计算或称平行计算是相对于串行计算来说的。所谓并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算并行计算科学中主要研究的是空间上的并行问题。数据并行从程序和算法设计人员的角度来看，并行计算又可分为数据并行和任务并行。一般来说，因为数据并行主要是将一个大任务化解成相同的各个子任务，比任务并行要容易处理。数据并行的例子对于数据密集型问题，可以采用分割数据的分布式计算模型，把需要进行大量计算的数据分

8、割成小块，由网络上的多台计算机分别计算，然后把结果进行组合得出数据结论。MapReduce是分割数据型并行计算模型的典范，在云计算领域被广泛采用。