温度参数 (Temperature)

定义

温度参数(Temperature)是控制语言模型生成文本时随机性程度的关键解码超参数。它通过缩放模型输出的概率分布,调节采样的确定性与多样性:温度越低,输出越确定、保守;温度越高,输出越随机、多样。温度是平衡生成内容可靠性与创造性的核心调节旋钮。[1]

原理

语言模型在每一步生成时,先输出各候选 Token 的未归一化得分(logits),再经 Softmax 函数转换为概率分布。温度参数 T 作用于 Softmax 之前,将每个 logit 除以 T 后再归一化。当 T 趋近于 0 时,概率分布变得极为尖锐,几乎总是选取概率最高的 Token,退化为贪心解码,输出高度确定;当 T 等于 1 时,保持模型原始的概率分布;当 T 大于 1 时,分布被平滑,低概率 Token 获得更多被选中的机会,从而增加随机性与多样性。温度通过改变分布的陡峭程度,直接影响采样行为。

特点

低温度适用于追求准确、稳定、可复现的任务,但可能导致输出单调、重复;高温度有利于激发创意与多样表达,但过高会损害连贯性与事实准确性,甚至产生语无伦次的内容。温度常与 Top-k、Top-p(核采样)等截断策略配合使用:后者先限定候选 Token 的集合,温度再调节集合内的采样分布,二者协同实现更精细的生成控制。

应用

在实践中,温度需依任务调整:事实问答、代码生成、数据抽取等场景宜采用较低温度(如 0 至 0.3)以保障准确与一致;创意写作、头脑风暴、对话拟人等场景则可设较高温度(如 0.7 至 1.0)以增强多样性与表现力。合理设置温度是提示工程与生成质量调优的基础环节。