并行计算与MPI复习资料

《并行计算与MPI复习资料》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、并行计算与MPI1.并行计算：并行机上所作的计算，又称高性能计算或超级计算。在并行机上，将一个应用分解成多个子任务，分配给不同的处理器，各个处理器之间相互协同，并行地执行子任务，从而达到加速求解速度，或者求解应用问题规模的目的。空间换时间。并行度是指指令并行执行的最大条数。2.需求类型：计算密集、数据密集、网络密集。3.并行计算必须具备的条件：并行机，并行算法(应用问题必须具有并行度)，并行编程4•比较流行的并行编程环境：消息传递，共享存储，数据并行；共享存储并行编程基于线程级细粒度并行，仅被SMP和DSM并行机所支持，可移植性不如消息传递并行编程；消息传递并行编程基于大粒

2、度的进程级并行，具有最好的可移植性，儿乎被当前流行的各类并行机所支持，且具有很好的可扩展性。消息传递并行编程环境MPI通常意义下所说的MPI系统就是指所有这些具有标准接口说明的消息传递函数所构成的函数库。一个MPI系统通常由一组库、头文件和相应的运行、调试环境构成。MPI并行程序通过调用MPI库屮的函数来完成消息传递，编译时与MPI库链接。而MPI系统提供的运行环境则负责一个MPI并行程序的启动与退出，并提供适当的并行程序调试、跟踪方面的支持。MPI(MessagePassingInterface)是由全世界工业、科研和政府部门联合建立的一个消息传递编程标准，其目的是为基于

3、消息传递的并行程序设计提供一个高效、可扩展、统一的编程环境。它是目前最为通用的并行编程方式，也是分布式并行系统的主要编程环境°MPI标准屮定义了一组函数接口用于进程间的消息传递。5.将一个应用分解为多个子任务的过程，称为并行算法的设计6.并行计算的研究目标：加速求解问题的速度，提高求解问题的规模。7.并行计算的研究内容：并行机的高性能特征抽収，并行算法设计与分析，并行实现技术，并行应用。基于并行机提供的并行编程环境，例如消息传递平台MPI或者共亨存储平台OpenMP共享存储对称多处理机(SMP)系统大规模并行机(MPP)系统&组成并行机的三个要素：节点(每个结点由多个处理器

4、构成，可以直接入输出(I/O)),互联网络(所有结点通过互联网络相互连接相互通信)，内存(内存模块与结点分离或者内存模块位于结点内部)，9.评价一个互联网络的基本准则应该为：固泄并行机包含的结点个数，如果点对点带宽越高、折半宽度越大、或者网络直径越小、点対点延迟越小，则互联网络质量可以说越高。10.根据内存访问的性质，并行机的访存模型可以分为：(1)均匀访存模型(UMA：UniformMemoryAccessmodel)(2)非均匀访存模型(NUMA：Non-UniformMemoryAccessmodel)(3)分布式访存模型(DMA：DistributedMemoryA

5、ccessmodel)(4)混合访存模型(HMA：HybridMemoryAccessmodel)10.按内存访问模型、微处理器和互联网络的不同，当前流行的并行机对以分为：(1)对称多处理共享存储并行机(SMP：SymmetricMulti-Processing)(2)分布共享存储并行机(DSM：DistributedSharedMemory)(3)集群机(cluster)结点内部共亨存储，结点间分布存储，(1)星群(constellation)(2)大规模并行机(MPP：MassivelyParallelProcessing)(3)混合型并行机(HPP：HybridPar

6、allelProcessing)9.Flynn:SISD,SIMD,MISD,MIMD。10.如果按经典的指令与数据流进行分类，则并行机可以分为三类：单指令多数据流(STMD),多指令多数据流(MTMD),多指令单数据流(MTSD)11.UNIX操作系统儿乎是当前所有高性能并行机(SMP、DSM、cluster,constellation>MPP)采用的标准操作系统12.并行编程环境：消息传递、共亨存储和数据并行13.进程具有两个明显的特征：资源特征，执行特征(线程或者轻量级进程)。进程的资源特征反映了进程是资源拥有的最小单元，而执行特征反映了进程是操作系统调度的基本单元。

7、14.任何进程，在执行过程屮，均涉及如下儿种状态：(1)非存在状态：进程依赖的程序还没有投入运行；(2)就绪状态：进程由其父进程(例如，操作系统的内核进程或Shell进程，或其他应用程序进程)调入并准备运行；(3)运行状态：进程占有CPU和其他必需的计算资源，并执行指令；(4)挂起状态：由于CPU或其他必需的计算资源被其他进程占有，或必需等待某类事件的发生，进程转入挂起状态，以后一旦条件满足，由操作系统唤醒并转入就绪状态；(5)退出状态：进程正常结束或因异常退出而被废弃。进程可由单个线程来执行，即通常所说的串行执行