RDMA(远程直接内存访问)

定义

RDMA(Remote Direct Memory Access,远程直接内存访问)是一种网络通信技术:网卡硬件可以不经过远端 CPU 与操作系统内核,直接读写远端主机注册过的内存区域,实现零拷贝、内核旁路(Kernel Bypass)和极低的 CPU 占用。

主要实现

• InfiniBand:原生 RDMA 网络,HPC 与 AI 集群主流。
• RoCE(RDMA over Converged Ethernet):在以太网上承载 RDMA,v2 版本可路由,依赖 PFC/ECN 等拥塞控制保证近似无损。
• iWARP:基于 TCP 的 RDMA,部署简单但性能一般。

应用通过 Verbs 接口使用队列对(QP)提交发送/接收工作请求,由网卡异步完成。

应用

分布式存储(NVMe over Fabrics、Ceph)、内存数据库、大模型训练的梯度同步都依赖 RDMA 降低延迟与 CPU 开销;GPUDirect RDMA 进一步让网卡直接读写 GPU 显存。

挑战

RDMA 对网络无损性敏感,大规模 RoCE 部署的拥塞控制调优复杂,是数据中心网络工程的难点之一。