灾难性遗忘 (Catastrophic Forgetting)

定义

灾难性遗忘(Catastrophic Forgetting)指神经网络在学习新任务或新数据时,原有任务的性能急剧下降的现象。由于新任务的梯度更新会覆盖对旧任务重要的权重,网络缺乏像人类那样的记忆保护机制。

背景

该问题在 20 世纪 80 年代末的连接主义研究中即被提出,是持续学习(continual learning)领域的核心挑战。在大模型时代,它表现为:对特定领域微调后,模型的通用能力、指令遵循或安全对齐可能明显退化。

缓解方法

常见思路有三类:基于正则的方法,如 EWC(弹性权重巩固)约束对旧任务重要的参数少动;基于回放的方法,在新数据中混入旧任务数据一起训练;基于结构的方法,为新任务分配独立参数,如 Adapter、LoRA 等冻结主干的参数高效微调。实践中,微调时混入通用数据、降低学习率、减少训练轮数都是常用手段。

意义

理解并控制遗忘,是让模型持续进化而不「学新忘旧」的关键。