打破瓶颈的InfiniBand

《打破瓶颈的InfiniBand》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、打破瓶颈的InfiniBand华中科技大学外存储系统国家专业实验室徐君明黄浩首先要明确的是，InfiniBand是致力于服务器端而不是PC端的高性能I/O技术。其目标是：使处理器级的带宽，从处理器到系统I/O、经由Fabric穿越整个数据中心（DataCenter）成为可能。应该说，I/O技术在企业服务器中无论是速率上还是吞吐量上都取得了稳步提高。但是，毫无疑问，现有的基于PCI架构（主要是PCI、PCI-X）的I/O技术仍然是系统处理器、系统主存以及I/O外设之间的主要瓶颈。这种I/O架构已经不

2、能满足互联网、电子商务、存储网络等大量的I/O需求。随着对称多处理器（SMP）、集群计算、网格以及远程备份的广泛应用，这种基于PCI架构的I/O技术的缺陷和局限性日益突出。因此，迫切需要一项面向高端的I/O解决方案，这就是InfiniBand。InfiniBand体系结构简单地讲，InfiniBand技术通过一种交换式通信组织（SwitchedCommunicationsFabric）提供了较局部总线技术更高的性能，它通过硬件提供了可靠的传输层级的点到点连接，并在线路上支持消息传递和内存映像技术。

3、不同于PCI，InfiniBand允许多个I/O外设无延迟、无拥塞地同时向处理器发出数据请求。InfiniBand技术通过连接HCAs（HostChannelAdapters）、TCAs（TargetChannelAdapters）、交换机以及路由器来工作，其体系结构如图1所示。InfiniBand受到了业界的普遍关注和支持，其中包括Dell、HP、IBM、Intel、Microsoft、Sun等220多家公司以及由这些公司组成的IBTA（InfiniBandTradeAssociation），其

4、体系结构在很大程度上维护了上述公司的投资利益。要充分发掘计算机系统的整体I/O性能（包括“箱内”I/O带宽以及网络吞吐量等），现有的基于PCI的共享总线架构已经很不适宜，这就为与InfiniBand相匹配的局部I/O互联技术创造了发展空间。目前，集群计算（Cluster）、存储区域网（SAN）、网格、内部处理器通信(IPC)等高端领域对高带宽、高扩展性、高QoS以及高RAS(Reliability、AvailabilityandServiceability)等有迫切需求，InfiniBand技术为

5、实现这些高端需求提供了可靠的保障。Shared-BusVS.Fabric基于共享总线（Shared-Bus）的PCI架构的诸多局限性决定了这项I/O技术已经不能适合日益庞大的计算机系统的I/O需求。这些局限性主要包括速率极限、可扩展性、单点故障等几个主要方面。而基于交换架构的InfiniBand技术在避开PCI架构上述问题的同时，提供了其他方面的更高性能。基于Fabric与基于共享总线I/O技术之间的简要对比如表1所示。1．Shared-Bus架构的局限性PCI-X133的带宽只有1.066GB/

6、s，虽然PCI-SIG最新公布的PCI-X266、PCI-X533的带宽峰值可分别达到2.128GB/s和4.264GB/s，但这没有从根本上缓解服务器端的I/O带宽瓶颈。同样，PCI架构(主要是PCI-X)的可扩展性也非常有限，它主要通过两种方式来实现：要么增加同层PCI总线（PCI本身就是一种层次结构I/O技术），要么增加PCI-to-PCI桥。前者主要通过在主板上集成额外的Host-to-PCI总线芯片以及增加PCI连接器来实现，而后者主要通过在主板上增加PCI-to-PCI桥接芯片来实现。

7、无论采用什么方式扩展PCI架构的I/O总线，其代价都是比较昂贵的。从本专题第一篇文章的图1也可以看出，在基于共享总线的I/O结构中，所有通信共享单一总线带宽（如图中的PCI总线1），由此就造成外设越多，可用带宽就越少，从而带来更严重的系统I/O瓶颈。不仅如此，在基于共享并行I/O总线上，大量的引脚数目也带来了一定的电气特性和机械特性等问题，使得PCB空间、信号频率以及信号可传输距离都受到很大程度的制约。2．SwitchedFabric体系结构InfiniBand所采用的交换结构（SwitchedF

8、abric）是一种面向系统故障容忍性和可扩展性的基于交换的点到点互联结构。这种结构如图2所示。在图2中，通过向InfiniBand系统添加交换机可以很容易地实现I/O系统的扩展，进而允许更多的终端设备接入到I/O系统。与基于共享总线的I/O系统相反，这种SwitchedFabric系统的总体带宽会随着所接入交换设备数目的增加而不断提高。另外，正如图2所指出的那样，通过在InfiniBand子结构之间添加路由设备，可以更大范围地扩充整个InfiniBand系统。3．InfiniBan