Stacking(堆叠泛化)

定义

Stacking(Stacked Generalization,堆叠泛化)由 Wolpert 于 1992 年提出,是一种分层集成方法:先训练多个异构基模型(第一层),再训练一个元学习器(meta-learner,第二层)以基模型的预测输出作为特征进行最终预测。

原理

为避免元学习器直接学习基模型在训练集上的过拟合输出,标准做法是通过 K 折交叉验证生成"折外预测"(out-of-fold predictions)作为第二层的训练特征。基模型越多样(如树模型、线性模型、神经网络混搭),互补性越强,堆叠收益越大。元学习器通常选用简单模型如逻辑回归,以降低二次过拟合风险。

应用

Stacking 是 Kaggle 等数据竞赛顶级方案的标配技巧,常与 Bagging、Boosting 产物混合堆叠多层。

缺点

训练与推理成本成倍增加,模型可解释性差,工业部署较少直接使用。