计算机集群系统高速互连技术浅析

《计算机集群系统高速互连技术浅析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、计算机集群系统高速互连技术浅析1.引言高性能计算机在科研领域和关键业务处理方面占有举足轻重的地位，但是支持这类应用的解决方案，多趋向于专有的昂贵的专有系统，并且整体性能也并不总是灵活的、高效的，可扩展性更是乏善可陈。计算机群集的出现使这种状况得到了显著的改善，集群系统的使用已经有十几年的历史。作为最早的群集技术设计师之一，G.Pfister对群集的定义是，"一种并行或分布式的系统，由全面互连的计算机集合组成，可作为一个统一的计算资源使用"。[1]在大规模并行计算和机群等高性能计算系统中，处理器之间或计算节点之间的快速互联网络的重要程度并不亚于处理

2、器本身，网络是集群中各个节点相互连接和协同工作的基础。随着双核处理器的出现、PCI-Express总线的发展、超级计算机的规模越来越大以及数据库集群的发展、金融分析的精确度的增加，制造业、石油、气象、生物等仿真技术的发展等，使得高带宽、低延时、高性能、低价格的网络互联方案变得日益重要。在实际的集群系统中，通常采用两套彼此独立的网络。一套是普通百兆以太网，用于系统管理和文件服务等普通网络通信；另一套是高速网，主要负责并行计算的消息传递和数据交换。在TOP500中，集群的高速网主要有千兆以太网（GigabyteEthernet）、10GEtherne

3、t、Quadrics、Myrinet、Infiniband、PathScale的Infinipath、IBM的SP网络、DolphinSCI、SGI的Numa-Link、Gray的RapidArray等[2]，其中最为广泛使用的高速通信网络有千兆以太网、Myrinet、Infiniband等三种[2]。下面就这三种网络在带宽、延迟、功能支持和技术优势等方面进行详细的阐述。2．几种互联技术的比较与分析2.1千兆以太网千兆以太网是对IEEE802.3以太网标准的扩展，在基于以太网协议的基础之上，将快速以太网的传输速率（100Mbps）提高了10倍，达

4、到了1Gbps。为了能够把网络速度从原先的100Mbps提升到1Gbps，对物理接口进行一些改动。为了确保与以太网技术的向后兼容性，千兆以太网遵循了以太网对数据链路层以上部分的规定。在数据链路层以下，千兆以太网融合了IEEE802.3/以太网和ANSIX3T11光纤通道两种不同的网络技术，实现了速度上飞跃。图1所示为三者之间的构成关系。图1三种网络技术构成关系图这样，千兆以太网不但能够充分利用光纤通道所提供的高速物理接口技术，而且保留了IEEE802.3/以太网帧的格式，在技术上可以相互兼容，同时还能够支持全双工或半双工模式（通过CSMA/CD）

5、。千兆以太网是现在应用最广泛的网络，可用于Linux集群管理，也可用于Linux集群节点间数据交换和通信，但其网络带宽和延迟不如专用网络，只能在节点通信负载不大的应用环境中得到广泛应用。千兆以太网支持系统到系统之间线速传输，达到约800Mbps的实际数据传送速率，报文收/发时延在60微秒左右。报文收/发延时（或称为pingpong延时）用报文发出到接受到对方回应之间的时间间隔的一半来计算。时延包括交换机的时延（收发双向均为10微秒左右）和接收方主机的收发延时（包括TCP/IP协议栈的处理和缓存到缓存的传送，这些均需要通过软件处理）。千兆以太网的特

6、点是搭建容易，可以以较低的成本满足大部分应用需求。目前，出现了万兆以太网技术，可以以8G到10Gbps的速度输入输出数据。并且网交换部件和芯片组的最新技术进步缩短了以太网的传输延迟，一些局域网设备的延迟降低到了300纳秒。2.2MyrinetMyrinet是Myricom公司私有的交换式集群互连技术，该技术原来为大容量并行处理器系统设计的。Myrinet的基本组成部分是16端口矩阵式交换芯片，通过‘胖树’结构组成较大的交换机和交换阵列。Myrinet交换机和主机适配器的端口速率为2Gbps。MyrinetGM为低级报文层支持收发和RDMA操作。主

7、机端口执行“操作系统旁路”固化微码将协议处理工作从主机CPU卸载下来。Myrinet网络的设计目标是要在局域网环境中获得系统域网络的性能。因此，它采用了MPP系统中数据包通信和交换技术，在设计时充分考虑了并行系统内部互连网络传输距离近、出错率低的应用环境，使用简化的链路控制协议实现数据传送，减小了数据传输时的协议开销；采用无阻塞的Clos网络拓扑结构，减少了数据包在网络中的冲突；网络适配器处理机对网络的自动映像和路由选择功能，可以提高网络的可靠性。Myrinet网络自从开发成功以来，以其高带宽、低延时和良好的可扩展性，带宽可达200MB/秒，延迟

8、小于10us，成为构造大规模集群系统的理想选择，在历届TOP500中都占有较大份额。2.3InfiniBandInfiniBand简称I