AdaBoost

定义

AdaBoost(Adaptive Boosting)由 Freund 和 Schapire 于 1995 年提出,是最具代表性的 Boosting 集成学习算法,两位作者因此获得哥德尔奖。

原理

算法迭代训练一系列弱分类器(如决策树桩)。每一轮结束后,提高被错分样本的权重、降低被正确分类样本的权重,使下一个弱分类器聚焦于难分样本;最终按各弱分类器的错误率赋予其投票权重,加权组合成强分类器。理论上可解释为在指数损失函数上的前向分步加法模型。

应用

AdaBoost 曾广泛用于人脸检测(Viola-Jones 框架)、文本分类等任务,只需弱分类器略好于随机猜测即可有效提升精度。

优缺点

优点是实现简单、不易过拟合(在低噪声数据上)、无需调节大量超参数;缺点是对离群点和标签噪声敏感,因为错分样本会被持续放大权重。