古斯塔夫森定律(Gustafson's Law)

定义

古斯塔夫森定律(Gustafson's Law)由 John Gustafson 于 1988 年在论文《Reevaluating Amdahl's Law》中提出:设串行部分占比为 s,使用 N 个处理器时的扩展加速比(Scaled Speedup)为 N - s(N-1),即加速比可随处理器数量近似线性增长。

核心思想

阿姆达尔定律假设问题规模固定,而古斯塔夫森观察到:人们获得更强算力后,通常会去解更大的问题(更高分辨率、更大网格、更多数据),让并行部分的工作量随处理器数同步扩大,串行部分占比相对下降。因此大规模并行机的实际价值远超阿姆达尔定律的悲观预测。

强扩展与弱扩展

两条定律分别对应两种扩展性评估方式:

• 强扩展(Strong Scaling):固定总问题规模,增加处理器,对应阿姆达尔定律。
• 弱扩展(Weak Scaling):固定每处理器的工作量,同步扩大问题,对应古斯塔夫森定律。

意义

该定律为超级计算机和 GPU 集群的大规模并行路线提供了理论辩护,深度学习「更大模型、更多数据、更多算力」的扩展实践正是其现实印证。