XGBoost

简介

XGBoost(eXtreme Gradient Boosting)是陈天奇在华盛顿大学期间主导开发的开源梯度提升框架,2014 年发布后迅速成为 Kaggle 等数据竞赛中结构化数据任务的标配工具。

技术特点

相较传统 GBDT,XGBoost 在目标函数中对损失做二阶泰勒展开,同时加入叶子数量与叶子权重的正则项,以更精确地指导分裂并抑制过拟合;工程上支持特征并行的分裂点查找、缓存感知的数据块存储、稀疏感知的缺失值处理,以及核外(out-of-core)计算。

生态

项目提供 Python、R、Java、Scala 等多语言接口,可与 scikit-learn、Spark、Dask 集成,支持 GPU 训练。

评价

XGBoost 把梯度提升从论文算法变成了可大规模落地的系统,在深度学习盛行的年代仍是表格数据建模的首选之一。