Lasso 回归

定义

Lasso(Least Absolute Shrinkage and Selection Operator)由统计学家 Robert Tibshirani 于 1996 年提出,是在最小二乘损失上加入系数绝对值之和(L1 范数)惩罚的线性回归方法。

原理

L1 惩罚的约束区域是带尖角的多面体(二维下为菱形),最优解容易落在坐标轴上,因此 Lasso 能把不重要特征的系数精确压缩为零,天然实现特征选择,产出稀疏、可解释的模型。目标函数在零点不可导,常用坐标下降法或最小角回归(LARS)求解,正则化路径可高效计算。

应用

适用于高维稀疏场景,如基因表达数据分析、文本回归、经济计量中的变量筛选。

局限

特征数大于样本数时最多选出样本数个特征;一组高度相关的特征中往往只随机保留一个,弹性网络(Elastic Net)通过混合 L1 与 L2 惩罚缓解了这些问题。