测试时扩展(Test-Time Scaling)

测试时扩展(Test-Time Scaling,又称推理时扩展、Inference-Time Scaling)是指在模型推理阶段投入更多计算量以换取更好输出质量的技术路线。与通过增加参数和训练数据提升能力的传统扩展法则相对,它开辟了让模型思考更久而非变得更大的第二条增长曲线。

概述

传统上模型一次前向采样直接给出答案,算力消耗固定。研究者发现,让模型在回答前生成长推理过程、对同一问题多次采样再择优,或在解空间中显式搜索,都能显著提升数学、编程等可验证任务的成绩,且成绩随推理算力近似对数线性增长。2024年OpenAI发布的o1模型将这一思路产品化:通过强化学习训练模型自发生成很长的内部思维链,在解题前反复尝试、检查与回溯;2025年初DeepSeek-R1开源了类似技术并公开了训练细节,使推理模型成为行业标配。

核心方法

• 长思维链:训练模型延长推理过程,自我验证与纠错,是当前推理模型的主流形式;
• 并行采样:对同一问题采样多个答案,用多数投票(自一致性)或验证器、奖励模型选最优,即best-of-n;
• 过程搜索:以过程奖励模型引导束搜索或树搜索,逐步扩展和评估推理路径;
• 预算控制:通过设置思考长度或努力程度参数,在延迟、成本与质量之间权衡。

应用与影响

测试时扩展在数学竞赛、编程、科学问答等可验证领域收益最大,推动了AIME、竞赛编程等高难基准成绩的飞跃,也改变了推理基础设施的需求结构——输出token量大幅增加,使KV缓存与解码吞吐成为新瓶颈。它与训练扩展互补:更强的基座配合更多思考时间,共同决定最终能力上限。

常见问题

问:测试时扩展对所有任务都有效吗？答:不是。在答案可验证、需要多步推理的任务上收益显著;在闲聊、简单事实问答等任务上过度思考收益甚微,还会增加延迟与成本。

问:它会取代扩大模型规模吗？答:不会,两者互补。小模型多思考可在部分任务追平大模型,但基座能力仍决定思考质量的上限。