MMLU 基准

MMLU(Massive Multitask Language Understanding)即大规模多任务语言理解,是一个用于评测大语言模型知识广度与理解能力的权威基准。它由多项选择题组成,题目涵盖人文、社科、理工和专业领域共 57 个学科,以模型答对题目的比例作为主要评分标准。

概述

随着大模型能力提升,单一任务的评测难以全面反映其水平。MMLU 通过覆盖从初等数学到法律、医学、伦理等广泛主题的题目,考察模型是否掌握了跨领域的知识并能进行基本推理。它常以零样本或少样本方式测试,已成为衡量和比较主流模型能力的标准指标之一。

核心特点

• 学科广泛:涵盖 57 个学科,从基础常识到高阶专业知识。
• 选择题形式:每题给出四个选项,便于自动化统一评分。
• 少样本评测:通常提供少量示例后让模型作答,考察其举一反三能力。
• 准确率指标:以整体答对比例衡量,并可按学科细分分析强弱项。

应用场景

MMLU 广泛用于学术论文和模型发布报告中,作为对比不同大语言模型综合能力的重要参考。研究者和厂商常引用其得分来展示模型进展,普通用户也可据此大致判断模型的知识水平。

常见问题

问:MMLU 得分高就代表模型一定好用吗?答:不完全是。MMLU 主要考察知识型选择题,无法覆盖对话流畅度、指令跟随、安全性和长文本生成等维度,需结合其他基准综合评估。

问:MMLU 会存在数据污染问题吗?答:会。如果测试题目泄露进了模型训练语料,分数可能虚高,因此研究者也在推出更难或更新的变体以减少污染影响。