NVLink

定义

NVLink 是 NVIDIA 于 2016 年随 Pascal 架构推出的点对点高速互连技术,用于 GPU 与 GPU、GPU 与 CPU 之间的直接通信,其带宽远高于同时代的 PCIe 总线,并支持对端显存的直接读写。

演进

NVLink 随 GPU 架构逐代升级带宽,并从点对点连接发展出 NVSwitch 交换芯片,使一台服务器内的多块 GPU 可全互连成统一拓扑;此后又扩展为跨节点的 NVLink 网络,把数十甚至上百块 GPU 组成一个高带宽域。IBM POWER 处理器曾原生支持 NVLink 与 CPU 直连,NVIDIA 自研的 Grace CPU 也通过 NVLink-C2C 与 GPU 紧耦合。

应用

大规模深度学习训练中,张量并行等通信密集的并行策略要求 GPU 间极高带宽和低延迟,NVLink/NVSwitch 正是 DGX 等 AI 服务器的核心竞争力之一,也是 NVIDIA 系统级护城河的重要组成部分。

意义

NVLink 表明 AI 时代的竞争已从单芯片算力扩展到互连与系统架构层面。