量化

精度与性能的权衡

训练神经网络通常用 FP32（32 位浮点）或 FP16/BF16（16 位），但推理时这么多位精度并非必要——实验表明，模型权重从 FP16 压缩到 INT8（8 位整数）后，大多数任务的准确率损失不到 1%，但内存减少一半，矩阵乘法速度也因为整数运算更快而提升。

训练后量化（PTQ，Post-Training Quantization）不需要重新训练，只需用少量校准数据确定量化参数，是工业界最常用的方式。量化感知训练（QAT）在训练中模拟量化误差，精度更好但成本更高，适合对精度极敏感的场景。[1]

LLM 量化的工程实践

LLM 的量化比 CNN 困难，因为 Transformer 中某些层（特别是 MHA 中的激活值）存在异常大的数值，直接量化会严重失真。

• GPTQ（2022）：基于二阶信息逐层贪心量化，4-bit 量化 OPT-175B 仅损失 < 1% 困惑度，是第一个实用的 LLM 4-bit 量化方法。
• GGML/GGUF（llama.cpp）：支持 Q4_K_M、Q5_K_S 等混合精度量化，让 7B 模型在 4GB 内存的 MacBook 上流畅运行，把本地 LLM 推向大众。
• AWQ（Activation-aware Weight Quantization，2023）：观察到只有少数权重通道影响显著，对这些关键通道保护高精度，其余激进压缩，效果优于 GPTQ。

目前量化到 4-bit 被认为是甜蜜点：显存减少 4 倍，性能损失可接受；继续压缩到 2-bit 则性能骤降。