Prompt 工程

思维链与零样本推理

2022 年 Google 提出链式思考提示（Chain-of-Thought, CoT）：在提示词里加入中间推理步骤的示例，让模型「边想边说」而不是直接给答案。这让 GPT-3 在数学文字题上的准确率从 17.9% 提升到 58.1%，效果震惊了研究界。同年 OpenAI 发现仅添加「Let's think step by step」这句话就能触发类似效果（零样本 CoT），无需具体示例。

原理上，CoT 让模型把复杂问题拆成多步，每一步都在自回归地生成中间结果，相当于把隐式的「推理」过程外显化。中间步骤的 token 计算充当了「草稿纸」，让模型可以积累和检查中间状态。[1]

结构化提示与高级技巧

实际应用中的 prompt 工程已经形成了一套工程规范：

• 系统提示（System Prompt）：设定角色、约束、输出格式，在对话开始前建立「上下文世界观」。
• 少样本提示（Few-Shot）：在提示中给出 2-5 个输入-输出示例，让模型理解任务格式，尤其适合格式化输出任务。
• 自洽性（Self-Consistency）：同一问题采样多个 CoT 路径，对最终答案投票，显著提升推理准确率，代价是 token 消耗增加。
• ReAct / Tool Use：让模型交替生成推理（Reason）和行动（Act，如调用搜索 API），实现 agent 能力。

GPT-4o 和 Claude 3.5 Sonnet 之后，模型理解能力大幅提升，许多「技巧」变得不再必要，但精准的系统提示对生产系统仍然至关重要。