Roofline 模型

定义

Roofline 模型是加州大学伯克利分校的 Samuel Williams 等人于 2009 年提出的可视化性能分析模型:横轴为计算强度(Arithmetic Intensity,每字节内存访问对应的浮点运算数),纵轴为可达性能,硬件的峰值算力构成水平「屋顶」,峰值内存带宽构成斜线「屋檐」,两者围成程序性能的上界。

用法

把程序或内核的计算强度代入图中即可判断其瓶颈:落在斜线段下方为带宽受限(Memory-bound),落在水平段下方为算力受限(Compute-bound)。由此对症下药——带宽受限时应提高数据复用(分块、算子融合),算力受限时应改进指令效率或使用专用单元。

在 GPU 领域的应用

GPU 的算力带宽比很高,大量深度学习算子(逐元素运算、归一化、注意力的部分步骤)都是带宽受限,这正是算子融合与 FlashAttention 类技术的理论依据;NVIDIA Nsight Compute 等分析工具内置 Roofline 图。大模型推理的解码阶段计算强度低、严重带宽受限,也常用该模型解释。

意义

Roofline 以一张图回答「优化空间还有多大、该往哪个方向优化」,是体系结构与高性能计算领域的通用分析语言。