课程学习 (Curriculum Learning)

定义

课程学习(Curriculum Learning)是一种训练策略:模仿人类教育中由浅入深的过程,先用简单样本训练模型,再逐步引入更难的样本,而非始终随机打乱数据。该概念由 Yoshua Bengio 等人在 2009 年的同名论文中系统提出。

原理

从优化角度看,先易后难相当于先在平滑的目标函数上找到较好的初始区域,再逐步逼近完整任务的复杂目标,有助于加速收敛并改善泛化。关键设计包括难度度量(如句长、损失大小、置信度)与进度安排(何时引入更难样本)。变体「自步学习」(self-paced learning)让模型根据自身当前损失自动选择样本。

应用

课程学习在机器翻译、语音识别、强化学习(如由易到难的关卡设计)中均有应用;大模型训练中的数据配比调度、先短序列后长序列的长上下文扩展训练,也体现了课程思想。

局限

难度定义主观、调度超参数多,收益依赖任务特性,并非普遍有效。