大模型评审(LLM-as-a-Judge)

大模型评审(LLM-as-a-Judge)是指使用能力较强的大语言模型作为评委,对其他模型的输出进行打分、成对比较或点评,从而替代或辅助人工评估的方法。随着2023年MT-Bench与Chatbot Arena论文对该方法的系统研究,它已成为大模型评测与数据筛选的主流手段。

概述

开放式生成任务(如对话、写作、总结)没有唯一标准答案,BLEU、ROUGE等传统指标与人类判断相关性差,而人工评估昂贵缓慢。研究发现,GPT-4级别的模型作为评委,与人类偏好的一致率可超过80%,接近人类标注者之间的一致率,这使得用模型评模型成为可行的低成本方案。

单样本打分:给评委模型一份评分标准,让其对单个回答按维度打分;
成对比较:同时给出两个模型的回答,让评委判断优劣,通常比绝对打分更稳定;
带参考评审:提供参考答案辅助评判,常用于数学、事实类任务;
已知偏差:位置偏差(倾向选第一个答案,需交换顺序两次评审)、长度偏差(偏爱更长回答)、自我偏好(偏爱自家或同源模型的风格)、对自信语气的偏好等,严谨的评测必须做去偏处理。

除了跑基准(如MT-Bench、AlpacaEval、Arena-Hard),大模型评审还被广泛用于:筛选与清洗训练数据,为RLAIF生成偏好标签,线上服务的质量监控与回归测试,以及智能体系统中对中间步骤的自我检查。专门训练的开源评审模型也在发展,以降低对商业模型的依赖。

问:大模型评审能完全取代人工评估吗？答:不能。在高风险领域、需要专业知识或评委模型自身能力不足的任务上,模型评审可能系统性出错,关键结论仍需人工抽检校准。

问:用被评测的同一个模型当评委可以吗？答:应尽量避免。自我偏好偏差会使评分虚高,通常选用更强或至少无同源关系的模型作评委,并汇报评委版本。