Bagging(装袋法)

定义

Bagging(Bootstrap Aggregating,装袋法)由 Leo Breiman 于 1996 年提出,是一种并行式集成学习方法:对训练集做多次有放回的自助采样(bootstrap),在每个采样子集上独立训练一个基学习器,最后回归任务取平均、分类任务投票。

原理

其有效性来自方差削减:若基学习器彼此独立,平均后的方差会显著下降,因此 Bagging 特别适合高方差、低偏差的不稳定模型(如未剪枝的决策树)。每轮自助采样约有 36.8% 的样本未被抽中,这些"袋外"(out-of-bag)样本可直接用于无偏估计泛化误差,省去额外验证集。

与 Boosting 对比

Bagging 各基学习器并行独立、地位平等,主要降方差;Boosting 串行依赖、逐轮聚焦难例,主要降偏差。

应用

随机森林在 Bagging 基础上进一步引入特征随机选择,是其最成功的扩展。