CatBoost

简介

CatBoost(Categorical Boosting)是俄罗斯搜索公司 Yandex 于 2017 年开源的梯度提升框架,名称即强调其对类别(categorical)特征的原生支持。

核心技术

针对高基数类别特征,CatBoost 使用有序目标统计(ordered target statistics)编码:对每个样本仅用其"之前"样本的标签统计量做编码,避免目标泄漏;训练时采用有序提升(ordered boosting)缓解传统梯度提升中的预测偏移(prediction shift);默认构建对称树(oblivious tree),同层节点共用分裂条件,预测速度快且起到正则化作用。

特性

默认参数下表现稳健,支持 GPU 训练、缺失值处理与模型分析工具。

应用

常用于含大量类别特征的场景,如推荐、广告、风控,与 XGBoost、LightGBM 并列为梯度提升三大实现。