核采样(Top-p Sampling)

核采样(Nucleus Sampling),又称 Top-p 采样,是大语言模型文本生成中常用的一种随机解码策略。它在每一步先按概率从高到低排列候选词元,累加它们的概率,直到累积概率超过预设阈值 p,取此时的最小词元集合作为采样范围,再从中按概率随机抽取下一个词元。

概述

纯随机采样可能选到概率极低的词元而产生离谱内容,而固定只取前若干个候选的做法又无法适应不同分布的形状。核采样的思路是动态确定候选集合大小:当模型很确定时候选很少,当模型不确定时候选自动增多,从而在连贯性与多样性之间取得较好平衡。

核心特点

• 动态截断:候选集合大小随概率分布自适应变化,而非固定数量。
• 阈值 p:控制保留概率质量的比例,p 越小输出越保守,越大越发散。
• 配合温度:常与温度参数联用,先由温度调整分布陡峭程度,再做核采样截断。
• 过滤长尾:有效剔除概率极低的不合理词元,降低生成崩坏风险。

应用场景

核采样广泛用于对话、创意写作、故事生成等开放式文本任务,是大多数大模型接口的默认或可选解码方式之一。在需要既自然又不失多样性的生成场景中,它通常优于贪心解码和束搜索。

常见问题

问:核采样和 Top-k 采样有什么区别?答:Top-k 固定只从概率最高的 k 个候选中采样,而核采样按累积概率阈值动态决定候选数量,能更好地适应不同的概率分布。

问:p 值应该怎么设?答:常见取值在 0.9 到 0.95 之间。值偏低时输出更稳定但可能单调,值偏高时更有创意但风险增加,需根据任务调节。