弹性网络 (Elastic Net)

定义

弹性网络(Elastic Net)由 Zou 与 Hastie 于 2005 年提出,在线性回归损失上同时施加 L1 与 L2 两种惩罚,通过混合比例参数在 Lasso 与岭回归之间连续调节。

动机

Lasso 在两类场景下表现不佳:一是特征数远大于样本数时最多只能选出与样本数相同的特征;二是面对一组高度相关的特征时倾向于随机保留其一、丢弃其余,选择结果不稳定。弹性网络借助 L2 项的"分组效应"(grouping effect),让相关特征的系数趋于同时保留且大小接近,同时保留 L1 带来的稀疏性。

求解

目标函数可用坐标下降法高效求解,scikit-learn、glmnet 等库均提供沿正则化路径的快速实现,两个超参数通常由交叉验证联合选定。

应用

常用于基因组学、文本分析等高维且特征相关性强的回归与分类任务。