RewardBench 奖励模型基准

RewardBench 是一个专门用于评测奖励模型的公开基准数据集与排行榜，通过大量精心构造的成对回答，衡量奖励模型判断答案优劣的准确率。

概述

在基于人类反馈的强化学习流程中，奖励模型负责给回答打分，其质量直接决定对齐效果。然而长期以来缺乏统一的奖励模型评测标准。RewardBench 由 Allen AI 研究团队于二零二四年发布，首次为奖励模型提供了跨领域、可复现的评测框架，填补了这一空白。

核心特点

• 以成对样本为单位，每对包含一个被偏好的优选回答与一个被拒绝的劣选回答。
• 覆盖聊天对话、复杂对话、安全拒答、推理与代码等多个类别。
• 评测指标是奖励模型给优选回答打分高于劣选回答的比例，即偏好准确率。
• 特别设计了含拒答与越狱诱导的样本，检验奖励模型的安全判断能力。

应用场景

RewardBench 主要用于对齐研究团队在训练奖励模型后进行横向比较，快速评估不同数据配方与模型结构的效果。它也帮助研究者诊断奖励模型的弱项，例如是否容易被冗长但空洞的回答误导。

常见问题

问：奖励模型分数高就代表最终模型一定好吗？答：不完全是。RewardBench 分数反映的是判别偏好的能力，但最终对齐效果还受强化学习流程、采样策略与奖励作弊等因素影响，需综合评估。

问：RewardBench 能评测生成式奖励模型吗？答：可以。除传统打分式奖励模型外，基于大模型充当评审的生成式奖励方案也能在同一批成对样本上给出偏好判断并接受评测。