偏差-方差权衡 (Bias-Variance Tradeoff)

定义

偏差-方差权衡(Bias-Variance Tradeoff)是统计学习理论的核心概念:在平方损失下,模型的期望泛化误差可以分解为偏差的平方、方差与不可约噪声三项之和。

含义

偏差衡量模型平均预测与真实规律的系统性偏离,源于模型假设过强、容量不足,表现为欠拟合;方差衡量模型对训练集随机性的敏感程度,容量过大时不同训练集会学出差异悬殊的模型,表现为过拟合。随着模型复杂度上升,偏差单调下降而方差上升,总误差呈 U 形曲线,最优复杂度位于两者的平衡点。

实践指导

高偏差时应增加特征、提升模型容量;高方差时应增加数据、正则化或使用 Bagging 等降方差的集成方法。学习曲线是诊断两种问题的常用工具。

新进展

深度学习中观察到的"双下降"(double descent)现象表明,在极度过参数化区域测试误差可能再次下降,提示经典 U 形曲线并非全貌。