束搜索（Beam Search）

定义

束搜索(Beam Search)是一种宽度受限的启发式图搜索算法,在自然语言生成中用于从语言模型的概率输出中解码出高概率的词序列,是机器翻译等任务的标准解码方法。

原理

贪心解码每步只取概率最高的一个词,容易陷入局部最优;穷举所有序列则代价呈指数级。束搜索折中处理:每个时间步为现有的 k 个候选序列(k 称为束宽,beam size)各自扩展,再从所有扩展结果中保留累计得分最高的 k 个,直到生成结束符。实践中常按长度归一化得分,以避免偏向短序列。

应用与调参

机器翻译通常使用 4 到 10 的束宽;束宽过大不仅变慢,还可能因「束搜索诅咒」使译文质量下降。

局限

束搜索输出确定且多样性差,开放式文本生成(如对话、写作)更常采用 top-k 采样、核采样(top-p)等随机解码策略,大语言模型的对话生成基本放弃了束搜索。