思维树 (Tree of Thoughts)

思维树(Tree of Thoughts,简称 ToT)是一种大语言模型推理框架,把问题求解过程建模为在由中间思路(思维节点)构成的树上进行有目的的搜索。它允许模型探索多条分支、对中间状态进行自我评估,并在走入死路时回溯,从而胜任需要规划和试错的复杂任务。

概述

思维树于 2023 年提出,是对思维链的重要扩展。思维链是一条线性的推理链,一旦某一步出错便难以纠正;而思维树引入了搜索树结构,把每个中间思路视为一个可展开、可评估、可放弃的节点。结合广度优先或深度优先等经典搜索策略,模型得以像人类解题一样尝试不同方案并择优推进。

核心原理

• 思维分解:将问题拆解为若干中间步骤,每一步产生一个或多个候选思路作为树节点。
• 状态评估:让模型对每个中间状态进行自我打分或投票,判断其是否有前途。
• 搜索控制:采用广度优先、深度优先或束搜索等策略,系统地展开与剪枝分支。
• 回溯纠错:当某分支被判断为无望时,退回上层节点尝试其他路径。

应用场景

思维树在需要探索与规划的任务上优势明显,例如 24 点游戏、创意写作、填字游戏和数学证明等。在这些场景中,答案并非一步可得,而需要在众多可能中反复尝试,思维树的搜索与回溯机制恰好契合此类需求。

常见问题

问:思维树相比思维链最大的改进是什么?答:思维链是单条线性路径,无法回头;思维树引入了分支探索和回溯机制,能在多个方案间比较取舍,更擅长处理需要规划的难题。

问:思维树的代价是什么?答:由于需要生成并评估大量中间节点,思维树的推理调用次数远高于思维链,计算成本和延迟显著增加,因此更适合对质量要求高、可离线运行的复杂任务。