InfiniBand

定义

InfiniBand 是一种面向高性能计算的交换式互连网络标准,由 InfiniBand 贸易协会(IBTA)制定,以极低延迟(微秒级)、高带宽和原生 RDMA 支持著称。主要设备供应商 Mellanox 于 2020 年被 NVIDIA 收购,使其成为 NVIDIA AI 集群方案的组成部分。

技术特点

• RDMA 原生支持:网卡(HCA)可绕过操作系统内核和 CPU,直接读写远端内存。
• 无损网络:基于信用的链路层流控避免丢包,配合自适应路由提升集合通信效率。
• 带宽演进:速率等级从早期 SDR/DDR/QDR 一路演进到 HDR、NDR、XDR,单端口带宽达数百 Gbps。
• 网络内计算:SHARP 技术可在交换机内完成归约运算,加速 AllReduce。

应用

TOP500 超算和主流大模型训练集群广泛采用 InfiniBand 承载节点间梯度通信;GPUDirect RDMA 使 GPU 显存可经 InfiniBand 直接互访。

竞争

以太坊系的 RoCE(RDMA over Converged Ethernet)是其主要竞争者,超以太网联盟(UEC)也在推动开放替代方案。