过拟合

什么时候会过拟合

经典场景：你有 100 张猫图片，用一个 1 亿参数的网络来训练，模型完全可以把每张图的像素位置和标签「硬记下来」，在训练集上达到 100% 准确率，但换一张新猫图就认不出了。模型容量远超数据量是过拟合的根本原因。

更微妙的过拟合：在验证集上反复调参、选最好的超参数组合，实质上也把验证集信息「泄露」给了模型选择过程，导致最终在独立测试集上表现不如预期。这叫超参数过拟合，是竞赛刷榜时的常见陷阱。[1]

工程上对抗过拟合有成熟的武器库：

L1/L2 正则化：在损失函数里加入权重的绝对值/平方和惩罚项，促使权重变小，防止单个特征过度主导。
Dropout（Srivastava et al., 2014）：训练时随机关闭一定比例的神经元（通常 20%-50%），强迫网络学会冗余表示，等价于同时训练了大量子网络。
数据增强：图像任务中随机翻转、裁剪、色彩抖动，让同一张图产生更多「虚拟训练样本」。
早停（Early Stopping）：监控验证集 loss，一旦开始上升就停止训练，是最简单直接的防过拟合手段。

值得注意的是，超大型语言模型（如 GPT-4 级别）在海量数据上训练后，过拟合反而不是主要问题，欠拟合（模型没学够）更常见。