LightGBM

简介

LightGBM 是微软亚洲研究院于 2016 年开源的梯度提升框架,目标是在保持精度的同时大幅提升 GBDT 在大规模数据上的训练速度。

核心技术

它将连续特征离散化为直方图(histogram)以加速分裂点查找;采用 leaf-wise(按叶子)而非 level-wise(按层)的树生长策略,优先分裂增益最大的叶子;并引入两项独创优化:GOSS(基于梯度的单边采样)保留大梯度样本、随机采样小梯度样本,EFB(互斥特征捆绑)将互斥的稀疏特征合并以降低维度。

特性

原生支持类别特征、并行与分布式训练、GPU 加速,内存占用显著低于同类实现。

应用

LightGBM 广泛用于点击率预估、金融风控和数据竞赛,与 XGBoost、CatBoost 并称梯度提升三大主流实现。