[高等教育]并行计算-多媒体课件-并行体系结构-lec15-dsm

《[高等教育]并行计算-多媒体课件-并行体系结构-lec15-dsm》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、ParallelComputerArchitecture并行计算机体系结构Lecture16概要复习第14讲基于目录高速缓存一致性协议放松的存储一致性模型并行文件系统工作站机群上的文件系统并行应用一般要处理很大的数据集I/O系统应该能允许并行应用中协作化的操作。因此需要设计一个高性能的文件系统来简化进程间的协作，高效地利用所有资源，并且对用户是透明的。考虑机群系统最基本的两个特点：大量资源：如磁盘、内存等。并行存取多个磁盘来提高传输带宽；利用机群系统中的内存，建立大的文件系统缓冲区来提高性能；高速互连网络允许系统依赖远地节点完成某些任务。例如，现在的一些系统依赖远地节点的内存来保

2、存本地节点中放不下的高速缓存块。软件RAID软件（逻辑）RAID：将RAID的思想用在机群中，将数据分布在机群系统的多个磁盘中。软件RAID表现就象RAID5，并且与RAID具有相同的优缺点与RAID的区别，就是文件系统需要负责分布数据和维护容错级别。条块组（StripeGroup）：将机群系统所有的磁盘组成一个逻辑RAID向所有磁盘写的大的写操作非常困难，导致很多小写操作。但在RAID5，小的写操作效率差。因此，系统就不能充分利用所有磁盘的写带宽。节点的网络连接的带宽有限，不能够同时读/写所有磁盘，只能利用部分磁盘性能。发生故障的可能性大。奇偶校验机制不够，可能同时多个磁盘故障

3、。解决方法是将数据条块化分布到磁盘的一个子集上（条块组）。系统需要执行的小的写操作数目大量减少。网络连接的带宽与条块组中磁盘的集合带宽相匹配，充分利用资源。系统中允许多个磁盘失效，只不过不能是属于同一条块组的多个磁盘。代价：减少了磁盘存储容量和有效带宽，因为每个条块组都必须有一个存放奇偶校验块磁盘，而在原来的方法中整个系统只要一个存放奇偶校验块的磁盘。日志结构的文件系统（Log-structureFilesystem）日志结构的文件系统提高磁盘速度。基本假设：高速缓存满足读操作的比例是很高的，因此磁盘的通信量主要是由写操作决定。如果能够改善写操作的执行，顺序执行所有写操作，就可避

4、免寻道和查找时间，能极大提高磁盘性能。日志结构文件系统的基本思想：使大部分写操作是按顺序执行。日志结构文件系统中，将整个文件系统作为一个日志来实现。日志结构的文件系统在每次块被写到一个文件时都将数据块加到日志的末尾，同时将以前写的块置为无效。这种方法允许每个文件被顺序写入；不管写的块顺序，因此提供了更快的写速度。降低读性能的代价换来很高的写性能，增加了复杂性。块按照写时的顺序分配使文件以随机顺序在磁盘中分散放置。增加一个单独的垃圾清除程序来扫描文件系统、移除无效块。需要一个复杂的缓存/查询机制来支持高效的查询，并且每个文件的块位置信息必须保存起来。缓存利用局部性原理多级缓存：能够

5、在不同的层次利用缓存机制。（服务器或客户端磁盘控制器、操作系统、I/O库、用户程序）缓存一致性问题：放松的文件共享语义：对话语义，增加了程序员负担一致性算法：实现Unix语义。不缓存写操作，令牌：写之前必须获得令牌。令牌的回收，租约。粒度：文件，文件块，自定义协同缓存：如不同的缓存间没有协作，①不能充分利用所有的缓存空间；②一个节点需要的文件块，已经缓存在另一个节点的缓存中了，从该缓存读提高系统的性能。第一个实现协同文件缓存的系统是xFS。基本思想：机群中每个节点分配一部分主存作为文件缓存。协同缓存算法利用所有这些主存来创建一个大型的、机群范围的文件缓存。当客户不命中局部文件缓存

6、时，转向远地客户的存储器去取数据。数据预取预取：真正存取数据块之前就将其读入内存。并行预取：每个节点独立的预取数据。One-block-ahead或Stride透明通知预取：用户向I/O系统提供一些存取文件情况的提示信息，系统利用这些信息，能够更好进行预取。积极预取：一旦当磁盘准备好后，就进行预取，将内存中最远的将来才用到的数据块替换出去。表6.6采用积极预取算法得到的预取调度序列一览表时间T1T2T3T4T5T6T7T8T9T10T11T12服务块F1A1B2C1D2E1F1块1F1F1F1D2D2D2D2D2D2F1F1F1块2B2B2B2B2B2B2B2E1E1E1E1E1

7、块3A1A1A1C1C1C1C1C1C1C1I/O接口传统的I/O接口不能表达数据并行、协同化操作等概念，开发一种新的I/O接口来表达这些新的语义信息.共享文件指针:全局共享文件指针分布共享文件指针跨步存取模式：简单的跨步存取操作嵌套的跨步操作BerkeleyNOW主动消息（ActiveMessage）：实现低开销通信的一种异步通信机制。在消息头部控制信息中携带一个用户级子例程（称作消息处理程序）的地址。当信息头到达目的节点时，调用消息处理程序从网络上抽取剩下的数据，并把它集成到