拒绝采样 (Rejection Sampling)

拒绝采样（Rejection Sampling）在大语言模型对齐语境中，是指对同一个提示生成多个候选回答，然后依据奖励模型或验证规则保留高质量样本、丢弃低质量样本的一种数据筛选与训练方法。

概述

拒绝采样原是统计学中从复杂分布抽样的经典技术。在大模型训练里，它被借用为一种数据自举手段：让模型自己生成大量回答，再用一个更可信的评判器挑出优质回答，形成新的监督微调数据。这种方法在多个知名对齐流程中被用来提升模型的有用性与正确率。

核心原理

• 对每个提示，用当前模型采样若干个不同的候选回答。
• 用奖励模型给候选打分，或对可验证任务用规则判断答案是否正确。
• 保留得分最高或通过验证的回答，拒绝其余候选。
• 把筛选出的高质量样本汇集起来，用于对模型进行新一轮监督微调。

应用场景

拒绝采样常用于构建高质量指令微调数据，尤其适合数学、代码等答案可验证的任务，可自动筛出正确解法。它也作为强化学习之外的轻量替代方案，在许多对齐管线中作为迭代提升模型能力的一环。

常见问题

问：拒绝采样与强化学习有何区别？答：拒绝采样只保留好样本做监督微调，不涉及对劣质样本的显式惩罚与策略梯度更新；强化学习则同时利用正负反馈调整策略，通常更复杂但上限更高。

问：拒绝采样的效果依赖什么？答：关键在于评判器的质量。若奖励模型或验证规则不可靠，筛选出的样本可能带偏，反而损害模型，因此常需搭配可验证任务或高质量奖励模型使用。