自助法 (Bootstrap)

定义

自助法(Bootstrap)由统计学家 Bradley Efron 于 1979 年提出,是一种通过对原始样本进行有放回重采样来估计统计量抽样分布的非参数方法,名称取自"拽着鞋带把自己提起来"的谚语,寓意仅靠数据自身完成推断。

原理

从含 n 个样本的数据集中有放回地抽取 n 次,得到一个自助样本;重复生成大量自助样本,在每个上计算目标统计量(如均值、中位数、模型系数),这些值的经验分布即可用来估计标准误、置信区间与偏差,而无需对总体分布做参数假设。单次自助采样中,每个样本未被抽中的概率约为 36.8%(即 1/e)。

在机器学习中的应用

Bagging 与随机森林直接建立在自助采样之上,未被抽中的"袋外"样本天然构成验证集(OOB 估计);自助法也用于评估模型性能指标的置信区间。

局限

对极值统计量或强依赖数据(如时间序列)需使用块自助法等变体。