蒸馏

释义

「蒸馏」（knowledge distillation）指让一个小模型（学生）学习大模型（教师）的输出或中间表示，从而以远小的体积和成本逼近大模型的效果。它是模型压缩、降低推理成本的关键手段。坊间也用「蒸馏」调侃「小厂偷偷用大厂模型的输出来训练自己的模型」。[1]

由来

概念由 Hinton 等在 2015 年提出，随大模型部署成本高企而备受重视，2024—2025 年「某模型涉嫌蒸馏 GPT」的争议也让该词出圈。

用法

例如：「端侧小模型是蒸馏出来的。」再如：「这效果，怕不是蒸馏了别家的。」

延伸

「蒸馏」与 套壳、大力出奇迹 相关，是大模型「降本」与「合规」交叉的热点词。