hpc 网络设计 指南 v1

《hpc 网络设计 指南 v1》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、HPC网络解决方案服务器的讨论会耦合在网络部分文档目标技术目标阐述HPC网络的架构各个功能区的分析应用需求分析可选的网络优化措施Cisco产品选择以及原因计算节点子系统存储以及并行文件子系统管理节点子系统高频交易类系统……听众目标了解HPC网络的应用需求了解Cisco抛弃infiniband的原因了解Cisco在HPC网络中的创新技术和解决方案Solution应用模板示范感谢！多位同事、专家的鼎力相助ShengliHouXuLuJunXieSteveYangWangJinGuoLingZhangStarryWu以及其它HPC

2、单位人员的帮助如RedHat/气象局……的专家HPC网络架构简述HPC网络架构综述计算节点计算网络存储网文件系统管理网计算节点特性计算网特性存储网特性并行文件系统存储节点特性管理网特性管理节点特性传统HPC网络设计Brief计算节点I/O节点存储：磁盘前言.传统HPC网络架构综述传统的HPC网络设计示意图：多个网络for不同的流量!存储网SAN或者NAS以SAN居多I/O节点：快速读取磁盘对计算节点提供并发文件存储服务如果对存储性能有要求，就一定会用SAN。(NAS的性能很差]I/O网以前有Infiniband或者GE两种方

3、案;I/O网的主要作用是为“并行文件系统”提供网络通道[带宽敏感+部分功能区时延敏感]计算通讯网-IPC以前是Infiniband或GE现在也有用10GE的Inter-ProcessCommunication(IPC)提供计算节点之间的通讯[绝对时延敏感]管理网可以单建，也有可能和IPC或者I/O网复用管理网的主要作用是:提供各节点监控、Image分发等等流量不会太大前言.传统HPC网络逻辑示意SAN网络I/O节点MDS服务器类似Master目录服务器并行文件系统管理网Master节点用户终端不在重点讨论范围IPC网络计算节

4、点用户终端接入连接User接入连接的主要任务:Jobinitiation–典型情况下是SSH/Telnet/Bproc等控制方式观测实时的任务结果[可能是图形化的结果]图形化的结果：一般情况下会从一台[若干台]特定的服务器上获取。图形的传送一般GE带宽就够了。有时会被用作Inter-Cluster(GRID)的通讯–这种情况下需要参考IPC网络的设计；需要考虑：安全和QOS一般情况下User只会和MasterNode通讯由MasterNode来管理其它节点通常用户接入用GE&TCP/IP足够.UserMasterNodeHP

5、C网络架构简述：计算系统HPC网络架构综述计算节点计算网络存储网文件系统管理网计算节点特性计算网特性存储网特性并行文件系统存储节点特性管理网特性管理节点特性传统HPC网络设计Brief1.1计算网络特性简析-AHPC计算网络：主要负责Process之间的通讯松耦合&紧耦合=>指Process之间的交互频度某些特别的松耦合应用甚至在Process之间没有交互流量，这些用户是对网络不敏感的我们关心的是瓶颈在I/O上的HPC应用场景[包括带宽&Latency]如果HPC应用是绝对的本地计算[那么重点在CPU/Core/GPU/Me

6、mory速度&大小……]首要考虑如何提高I/O传输时延=>LatencyI/OLatency↓Process就能越快地摆脱等待的状态，CPU利用率↑最直接的证明就是多CPUinter-connect的超级计算机系统某些HPC应用甚至会用Multicast来同步数据→L2MulticastLatencyLatency会从/协议栈/网卡-IO/线路/设备转发/拓扑/拥塞的Queue等多处引入低延迟网络方案有Infiniband或10GEwLowLatency或者RDMAoverConvergedEthernet(RoCE)可选必

7、须是DCB的网络，才能支持RoCE1.1计算网络特性简析-BHPC计算网络，其它：安全控制对故障Server的隔离，防止干扰整个L2域:广播抑制、Loop防止、Flapping……网络要求HA→对”实时HPC”应用非常重要流量统计和分析QoS:在多个网络复用情况下的QoS(管理网复用;个人不建议和I/O网复用，除非是松耦合)对关键流量的QoS优化如果采用Socket→Ethernet应用流量模型是否允许采用不丢包的Ethernet技术ToE网卡的重要性[个人认为必备]组播技术的用法[目前只在某些特定的HPC应用系统中作为重点

8、使用。]10GbEthernetvsIB@HPC领域InitiatorSpeedTargetSpeedDataThrougputPerI/ONodeGigabitEthernetGigabitEthernet112-118MBpsGigabitEthernet10GigabitEthern