最新多核程序设计02-并行程序设计基础(并行计算基础)..ppt课件.ppt

《最新多核程序设计02-并行程序设计基础(并行计算基础)..ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、多核程序设计02-并行程序设计基础(并行计算基础)..第二章并行计算基础内存模块与节点分离内存模块位于节点内部多级存储体系结构解决内存墙（memorywall）性能瓶颈问题；节点内部的cache称为二级cache（L2cache）；处理器内部更小的cache成为一级cache（L1cache）；L1cache连接CPU寄存器和L2cache，负责缓存L2cache中的数据到寄存器中。访存模型NUMA（Non-UniformMemoryAccess）模型：该模型内存模块分布在各个节点内部，所有局部内存模块均构成并行计算机的全局

2、内存模块。内存模块在物理上是分布的，在逻辑上是全局共享的，这种模型也称之为“分布式共享访存模型”物理存储器被所有节点共享，任意节点可以直接访问任意内存模块；节点访问内存模块的速度不同，访问本地存储模块的速度一般是访问其他节点内存模块的3倍以上；发生访存竞争时，仲裁策略对节点可能是不等价的；各节点的CPU可带有局部私有高速缓存（cache）；外围I/O设备也可以共享，但对各节点是不等价的。访存模型COMA（Cache-OnlyMemoryAccess）模型：全高速缓存存储访问模型各处理器节点中没有存储层次结构，全部高速缓存组成

3、了全局地址空间；利用分布的高速缓存目录进行远程高速缓存的访问；COMA中的高速缓存容量一般都大于2级高速缓存容量；使用COMA时，数据开始时可以任意分配，因为在运行时它最终会被迁移到要用到它的地方。并行计算模型SIMD同步并行计算模型共享存储的SIMD模型（PRAM模型）；分布存储的SIMD模型（SIMD互联网络模型）MIMD异步并行计算模型异步PRAM模型BSP模型LogP模型C3模型同步并行计算模型SIMD共享存储模型假定存在着一个容量无限大的共享存储器，有有限或无限个功能相同的处理器，且均具有简单的算术运算和逻辑判断功

4、能，在任何时刻各处理器均可通过共享存储单元相互交换数据。SIMD共享存储模型（PRAM模型）PRAM-EREW（Exclusive-ReadandExclusive-Write），不允许同时读和同时写；PRAM-CREW（Concurrent-ReadandExclusive-Write），允许同时读但不允许同时写；PRAM-CRCW（Concurrent-ReadandConcurrent-Write），允许同时读和同时写。优点：适合于并行算法的表达、分析和比较；使用简单，很多诸如处理器间通信、存储管理和进程同步等并行计算

5、机的低级细节均隐含于模型中；易于设计算法和稍加修改便可运行在不同的并行计算机上；且有可能加入一些诸如同步和通信等需要考虑的方面。同步并行计算模型SIMD分布存储模型采用一维线性连接的SIMD模型，简记为SIMD-LC采用网孔连接的SIMD模型，简记为SIMD-MC采用树形连接的SIMD模型，简记为SIMD-TC采用树网连接的SIMD模型，简记为SIMD-MT采用立方连接的SIMD模型，简记为SIMD-CC采用立方环连接的SIMD模型，简记为SIMD-CCC采用洗牌交换连接的SIMD模型，简记为SIMD-SE采用蝶形连接的SI

6、MD模型，简介为SIMD-BF采用多级互联网络连接的SIMD模型，简记为SIMD-MINMIMD异步计算模型——APRAM模型APRAM特点:每个处理器都有其本地存储器、局部时钟和局部程序处理器间的通信经过共享全局存储器无全局时钟，各处理器异步地独立执行各自的指令处理器任何时间依赖关系需明确地在各处理器的程序中加入同步障（SynchronizationBarrier）一条指令可在非确定但有限的时间内完成。MIMD异步计算模型——PRAM模型APRAM模型中有四类指令:全局读，将全局存储单元中的内容读入本地存储器单元中局部操作

7、，对本地存储器中的数执行操作，其结果存入本地存储器中全局写，将本地存储器单元中的内容写入全本地存储器单元中同步，同步是计算中的一个逻辑点，在该点各处理器均需等待别的处理器到达后才能继续执行其局部程序MIMD异步计算模型——BSP模型大同步并行BSP（BulkSynchronousParallel）模型作为计算机语言和体系结构之间的桥梁，由下述三个参数描述分布存储的并行计算机模型：处理器/存储器模块（下文简称处理器）；处理器模块之间点到点信息传递的路由器；执行以时间间隔L为周期的路障同步器。MIMD异步计算模型——BSP模型特

8、点：将处理器和路由器分开，强调了计算任务和通信任务的分开，而路由器仅施行点到点的消息传递，不提供组合、复制或广播等功能，这样做既掩盖了具体的互联网络拓扑，又简化了通信协议；采用路障方式的以硬件实现的全局同步是在可控的粗粒度级，从而提供了执行紧耦合同步式并行算法的有效方式，而程序员并无过分的