GPUDirect

定义

GPUDirect 是 NVIDIA 推出的一组数据传输优化技术的统称,核心思想是消除「设备到 GPU 显存必须经过 CPU 内存中转」的额外拷贝,让第三方设备直接读写 GPU 显存,降低延迟并释放 CPU。

主要成员

• GPUDirect P2P:同一节点内 GPU 之间经 PCIe 或 NVLink 直接互访显存。
• GPUDirect RDMA:InfiniBand/RoCE 网卡直接读写 GPU 显存,跨节点 GPU 通信不再经过主机内存,是 NCCL 多机训练性能的关键。
• GPUDirect Storage(GDS):NVMe 存储与 GPU 显存之间直接 DMA,加速数据加载。

应用

大规模分布式训练中,GPUDirect RDMA 与 NCCL、InfiniBand 组合是标准配置;数据密集型推理与科学计算则借助 GDS 缓解 I/O 瓶颈。

意义

GPUDirect 体现了以 GPU 为中心的体系结构演进方向:数据路径围绕加速器而非 CPU 设计,CPU 逐渐退居控制面角色。