余弦退火 (Cosine Annealing)

定义

余弦退火(Cosine Annealing)是一种学习率调度策略,让学习率随训练进程沿余弦曲线从峰值平滑下降到最小值,由 Loshchilov 与 Hutter 在 SGDR 论文中推广。

原理

相比阶梯式衰减,余弦曲线在训练前期保持较高学习率以快速探索,后期缓慢逼近低学习率以精细收敛,过渡平滑、无需手工设定衰减节点。SGDR 还提出「热重启」变体:周期性地将学习率重置回峰值再退火,有助于跳出局部极小。

应用

「线性预热 + 余弦退火到峰值的一小部分」是 GPT、LLaMA 等大模型预训练的标准学习率方案。图像分类等任务中余弦调度也常优于阶梯衰减。

相关讨论

余弦调度需要预先知道总训练步数,不便于中途延长训练;为此社区发展出 WSD(warmup-stable-decay)等替代调度,在恒定学习率阶段后再快速衰减,便于灵活决定训练时长。