线程束(Warp)

定义

线程束(Warp)是 NVIDIA GPU 中线程调度与执行的基本单位,由 32 个连续线程组成。流式多处理器(SM)上的 Warp 调度器每个周期挑选就绪的 Warp 发射指令,同一 Warp 内的线程以 SIMT 方式锁步执行。AMD GPU 中对应概念称 Wavefront(通常 32 或 64 线程)。

性能影响

Warp 是理解 GPU 性能的关键抽象:

• 分支发散:Warp 内线程走不同分支时需串行执行各路径,降低效率。
• 访存合并:Warp 内 32 个线程访问连续对齐的内存时可合并为少量事务,否则带宽利用率骤降。
• 占用率(Occupancy):SM 上活跃 Warp 数量越多,越能通过切换 Warp 隐藏访存延迟。

Warp 级原语

CUDA 提供 shuffle、投票(vote)、warp 级矩阵运算(WMMA)等指令,允许同一 Warp 内线程不经共享内存直接交换数据,被广泛用于归约、扫描等高性能算法。

意义

围绕 Warp 组织数据布局与控制流,是 CUDA 内核优化的核心方法论。