GSM8K 数据集

GSM8K(Grade School Math 8K)是由OpenAI于2021年发布的小学数学应用题数据集,在论文《Training Verifiers to Solve Math Word Problems》中提出。它包含约8500道语言多样、质量较高的数学应用题,是大语言模型多步推理能力最常用的评测基准之一。

概述

数据集由人工撰写,分为约7500道训练题和1000道测试题。每道题为一段自然语言描述的应用题,解答需要2到8步基本算术运算(加减乘除),并附有带完整推理过程的参考解答。题目难度面向优秀的小学生,但在发布之初,即使最大的语言模型直接作答的准确率也很低,凸显了当时模型在多步推理上的短板。

核心特点

• 考察多步推理:错误往往出现在中间步骤,单步计算并不难,难在把步骤正确串联;
• 自然语言解答:参考答案以文字推理加算式给出,便于训练和评估推理过程而不只是最终答案;
• 验证器思路:原论文提出训练验证器对多个候选解答打分选优,是后来过程奖励模型与测试时扩展研究的先声;
• 推动思维链:2022年思维链提示的论文以GSM8K为主要试验场,让模型先写推理再给答案,准确率大幅跃升,使该数据集声名大噪。

现状与局限

随着模型能力提升,前沿模型在GSM8K上的准确率已超过95%,基准趋于饱和;同时因其流传极广,存在测试题泄漏进预训练语料的污染风险。研究者陆续推出改写数值的GSM8K变体以及难度更高的MATH、AIME等竞赛级基准作为补充,但GSM8K仍是检验中小模型推理能力和复现推理研究的常用起点。

常见问题

问:GSM8K的成绩为什么要看提示方式？答:同一模型用直接作答、思维链、多数投票等不同提示策略,成绩差异可达数十个百分点,因此对比成绩时必须说明评测设置。

问:GSM8K饱和后还有什么意义？答:它仍适合评测小模型、验证训练方法有效性,以及作为推理数据集用于蒸馏和强化学习训练。