梯度提升决策树 (GBDT)

定义

梯度提升决策树(Gradient Boosting Decision Tree,GBDT)由 Friedman 于 2001 年系统化提出,将 Boosting 思想推广到任意可微损失函数,以回归树作为基学习器。

原理

模型以加法形式逐棵构建决策树:每一轮用当前模型在损失函数上的负梯度(近似残差)作为新目标,训练一棵回归树去拟合它,再以一定学习率累加到整体模型中。分类、回归、排序任务只需替换损失函数即可统一处理。

应用

GBDT 在点击率预估、搜索排序、风控评分、数据竞赛等结构化数据场景长期占据主导地位,XGBoost、LightGBM、CatBoost 均是其高效工程实现。

优缺点

优点是精度高、能处理混合类型特征、可输出特征重要性;缺点是树间串行依赖导致训练难以并行,对超参数(树数、深度、学习率)较为敏感。