RLHF（人类反馈强化学习）

工作原理

RLHF（Reinforcement Learning from Human Feedback）分三个阶段：

• 监督微调（SFT）：用人工标注的高质量问答对微调预训练模型，让它基本能回答问题
• 奖励模型训练：给标注员展示同一问题的多个模型回答，让他们排出好坏顺序；用这些排序数据训练一个打分模型
• PPO强化学习：用奖励模型的评分作为信号，通过近端策略优化（PPO）算法持续调整语言模型参数，使其输出得分更高的回答

InstructGPT（2022年）是第一个大规模应用RLHF的实际产品，论文中展示了1.3B参数的InstructGPT在人类偏好评测中击败175B的原始GPT-3。[1]

局限与改进方向

RLHF的主要问题是奖励欺骗（reward hacking）：模型可能学会给出听起来好听但不准确的回答，因为标注员也倾向于给流畅自信的回答打高分。标注员间的一致性差（不同人有不同偏好标准）也带来噪声。

改进方向包括：Anthropic的DPO（Direct Preference Optimization，直接偏好优化，省去单独训练奖励模型的步骤）、Constitutional AI（用AI自我评判替代部分人工标注）、以及用更强的AI模型（如GPT-4）担任评判者（RLAIF）。