随机森林(Random Forest)

随机森林(Random Forest)是由列奥·布赖曼提出的一种集成学习方法,它构建多棵相互独立的决策树,并通过投票(分类)或平均(回归)综合各树预测,从而获得比单棵决策树更稳定、更准确的结果。

概述

随机森林建立在装袋法与随机特征选择两大机制之上。装袋法对训练集进行有放回抽样,生成多个略有差异的子集分别训练树;随机特征选择则在每个节点分裂时,只从随机抽取的特征子集中挑选最优划分。两种随机性共同降低了树与树之间的相关性,使集成后的方差显著下降。

核心原理

• 自助采样:对含 n 个样本的训练集有放回地抽取 n 次,构成每棵树的训练子集,约三分之一样本未被抽中,称为袋外样本。
• 随机分裂:节点分裂时只考虑随机选出的特征子集,常取特征总数的平方根或对数。
• 树的生长:各树通常充分生长而不剪枝,依靠集成而非单树控制过拟合。
• 袋外估计:利用未参与训练的袋外样本可无偏估计泛化误差,并评估特征重要性。

应用场景

随机森林适用于分类与回归的广泛场景,如信用评分、疾病诊断、遥感分类、推荐系统的特征筛选等。由于对缺失值与异常值鲁棒、几乎不需特征缩放、又能输出特征重要性,它常被当作快速建立基线模型的首选工具,也广泛用于数据探索阶段。

常见问题

问:随机森林为什么不容易过拟合?答:每棵树基于不同样本与特征子集训练,彼此误差不完全相关,聚合时正负偏差相互抵消,方差随树数增加而减小,因此整体泛化能力较强。

问:它和梯度提升树的主要区别是什么?答:随机森林并行独立训练多棵树后平均,侧重降低方差;梯度提升树串行逐棵拟合前序残差,侧重降低偏差,通常精度更高但更易过拟合、调参更敏感。