自洽性 (Self-Consistency)

自洽性(Self-Consistency)是一种针对大语言模型推理任务的解码增强策略。其核心思想是:对同一问题多次采样生成不同的思维链推理路径,再对这些路径给出的最终答案进行多数投票,以聚合的方式提升推理可靠性。

概述

该方法由谷歌研究团队在 2022 年提出,建立在思维链提示的基础之上。研究者观察到,复杂问题往往存在多条正确的推理途径,而单次贪心解码只探索其中一条,一旦中途出错就会导致答案错误。自洽性通过采样多条路径并求共识,利用了正确答案更可能被多种推理方式共同支持这一直觉,从而显著提升数学、逻辑等任务的准确率。

核心原理

• 多路径采样:在带思维链的提示下,用较高温度采样生成多条独立的推理过程。
• 答案抽取:从每条推理链末尾提取其得出的最终答案。
• 多数投票:统计所有答案的出现频次,选择票数最多者作为最终输出。
• 共识假设:不同推理路径若殊途同归,则该答案更可能正确。

该方法不需要额外训练或验证器,仅在推理阶段增加采样次数即可生效,是一种即插即用的增强手段。

应用场景

自洽性在算术推理(如 GSM8K)、常识推理和符号推理等有明确答案的任务上效果最为显著。它常与思维链提示搭配使用,是评测大模型推理上限的常用手段之一。在需要更高准确率且能承受多次采样成本的离线场景中尤为适用。

常见问题

问:自洽性和思维链是什么关系?答:思维链让模型逐步展示推理过程,自洽性则在其之上叠加多次采样与投票。可以理解为自洽性是思维链的一种集成增强版本。

问:采样多少条路径合适?答:通常采样越多准确率越高,但收益逐渐递减,同时成本线性增长。实践中常取几条到几十条,需在准确率与推理开销间权衡。