岭回归 (Ridge Regression)

定义

岭回归(Ridge Regression)由 Hoerl 与 Kennard 于 1970 年提出,是在普通最小二乘的损失函数上加入系数平方和(L2 范数)惩罚项的线性回归方法,惩罚强度由超参数 λ 控制。

原理

当特征间存在多重共线性时,最小二乘解的方差极大、系数极不稳定。岭回归在正规方程中给协方差矩阵对角线加上 λ(即"岭"),保证矩阵可逆并将系数整体向零收缩,以引入少量偏差换取方差的大幅下降。从贝叶斯视角看,它等价于给系数施加高斯先验后的最大后验估计。

与 Lasso 对比

岭回归将系数收缩但不会精确压到零,因此不做特征选择;Lasso 的 L1 惩罚则能产生稀疏解。

应用

适用于特征多重共线性严重或特征数接近甚至超过样本数的场景,λ 通常通过交叉验证选择,使用前需对特征标准化。