RLHF

三步训练流程

标准 RLHF 分三个阶段：

• 监督微调（SFT）：用高质量的人工示范数据（如 OpenAI 标注员写的高质量回答）对预训练模型做有监督微调，得到一个基础的「有指令跟随能力」的模型。
• 奖励模型训练（RM）：对同一个问题生成多个回答，让标注员两两比较哪个更好，用比较数据训练一个奖励模型，能给任意回答打分（模拟人类偏好）。
• PPO 强化学习：用奖励模型提供的分数信号，通过 PPO 算法微调 SFT 模型，同时加入 KL 散度约束防止偏离 SFT 初始化太远（防止「奖励黑客」：模型找到高分但毫无意义的输出）。

DPO 等简化替代方案

RLHF 的工程复杂度很高：需要同时维护四个模型（SFT、RM、当前策略、参考策略），PPO 训练极不稳定，超参数敏感。

2023 年 Stanford 提出 DPO（Direct Preference Optimization）：数学上证明了可以跳过显式的奖励模型，直接用偏好对数据微调语言模型，等价于隐式地优化同样的目标函数。DPO 实现简单、训练稳定，Llama 3、Mistral 等开源模型的对齐阶段纷纷采用 DPO 或其变体（IPO、KTO）。Anthropic 的 Constitutional AI 则用 AI 生成批评和修订，减少人工标注量，是另一种减少 RLHF 人力成本的路径。