《并行计算机系统》PPT课件

《《并行计算机系统》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第九章并行计算机系统的程序设计第一节并行计算机系统的数据通信第二节Cache与存储器的数据一致性第三节多处理机的同步第四节并行程序设计模型第一节并行计算机系统的数据通信数据包寻径信息序号数据内容校验位协议号时间戳存储转发store-and-forward电路交换circuitswitching虚拟切换virtualcut-through虫孔寻径wormholeMPIMessagepassinginterface用于多处理器系统和集群系统进程通过调用库函数进行消息收发通信支持异构计算标准的消息传递函数库点到点通信函数群集通信函数不是一种语言消息传递机制点对点通信群集通信MP

2、I的点对点通信机制发送操作模型标准的同步或缓存的（取决于实现）缓存的把发送缓存复制到缓存后返回同步的缓存被接收方读取后返回就绪的在接收方就绪时启动发送（启动发送后即返回）发送/接收操作模型阻塞的等到消息复制到缓存后返回非阻塞的启动发送/接收后即返回MPI点对点通信函数例子MPI_INIT启动MPI计算MPI_FINALIZE结束MPI计算MPI_COMM_SIZE确定进程数MPI_COMM_RANK确定自己的进程号MPI_SEND标准地发送一条消息MPI_BSEND发送一条缓存的消息MPI_SSEND发送一条同步的消息MPI_RESEND发送一条就绪的消息MPI_ISEN

3、D标准地发送一条非阻塞消息MPI_IBSEND发送一条缓存的非阻塞消息MPI_ISSEND发送一条同步的非阻塞消息MPI_RESEND发送一条就绪的非阻塞消息MPI_RECV标准地接收一条消息MPI_IRECV非阻塞地接收一条消息MPI_BCAST广播一条消息MPI_WAIT等待发送/接收完成MPI_TEST测试发送/接收是否完成MPI的聚合通信机制同步方式同步发送和阻塞接收所有进程都完成调用时返回（屏障同步）特异方式distinguished一对多通信散播广播多对一通信归约求最大值、最小值、总和、乘积等收集MPI群集通信函数例子MPI_Bcast一对多广播同样的消息MP

4、I_Gather多对一收集各个进程的消息MPI_Allgather全局收集MPI_Scatter一对多散播不同的消息MPI_Alltoall每个进程给所有其他进程发送一个消息每个进程从所有其他进程接收一个消息MPI_Reduce多对一归约MPI_Reduce_scatter归约并散播MPI_Barrier屏障同步第一节并行计算机系统的数据通信1.存储转发store-and-forward问题：延迟大，缓存多第一节并行计算机系统的数据通信2.电路交换circuitswitching问题：冲突多，利用率低第一节并行计算机系统的数据通信3.虚拟切换virtualcut-thro

5、ugh问题：缓存多flits第一节并行计算机系统的数据通信4.虫孔寻径wormhole问题：死锁和活锁第一节并行计算机系统的数据通信虫孔寻径与存储转发的比较例9-1设多处理器计算机中两个结点之间的距离为10，一个处理器发出的消息包含100个片段（flit），假设每个时钟周期可以在连路上传递一个片段，问在存储转发和虫孔寻径两种方式下消息的传递最快分别需要花费多少时间？解：存储转发方式，消息传递时间为10*100=1000个时钟周期虫孔寻径方式，消息的第一个片段在网络上的传递时间为10个时钟周期，后99个片段增加99个时钟周期，共109个时钟周期。第二节Cache与存储器的数

6、据一致性共享存储器多处理机系统的问题访存冲突与数据一致性数据多个副本之间的相同性数据的一致性类型串行一致性弱化一致性处理机一致性松散一致性数据一致性串行一致性sequentialconsistency处理机P对于存储单元X的写操作之后进行的读操作，其间如果没有其它处理机对X进行写访问，则总是返回由P写入的数值。在一个处理机P1对于单元X进行写操作之后，另一处理机P2对于单元X的读操作只要两者足够分离并且没有其它对于X的写操作发生，就能够返回P1写入的数值。对于同一单元的写操作是顺序进行的，即两个处理机对于相同单元进行的写操作的顺序从任何处理机看都相同。如果数值1和2依次写

7、入一个位置，处理机不可能先读得2，再读得1。数据一致性弱化一致性weakconsistency程序通过同步操作强调一致性，使得在这些同步点上数据保持一致，而不要求数据随时都是一致的。处理机一致性processorconsistency每个处理机发出的写操作被其它处理机看到的都保持原顺序，但两个不同处理机的写操作顺序可被其他处理机以不同的顺序看到。松散一致性releaseconsistency采用acquire-release同步操作使得数据保持一致，从而减少对硬件一致性处理的要求。数据一致性的实现软件方法编译分析避免cache