模型量化（Quantization）

模型量化（Quantization）是一种把神经网络中的参数（权重）和计算从高精度浮点数转换为低精度数值表示的模型压缩技术，可在基本保持模型效果的前提下，显著减小模型体积、降低显存占用并提升推理速度。

概述

神经网络的参数通常以 32 位或 16 位浮点数存储和计算，一个拥有数十亿参数的大语言模型，仅权重就可能占用几十 GB 显存，远超普通显卡的容量。量化的思路是用更少的比特来近似表示这些数值，例如把 16 位浮点压缩到 8 位整数（INT8）甚至 4 位（INT4），模型体积可随之缩小到原来的几分之一。

量化的代价是数值精度下降，可能带来一定的效果损失。但实践表明，大模型对适度量化相当宽容：8 位量化通常几乎无损，4 位量化在多数日常任务中也能保持可用的质量，因此量化成了大模型落地部署的标配手段。像 Ollama、llama.cpp 等本地运行工具分发的 GGUF 格式模型，绝大多数就是量化版本。

主要特点

• 省显存、省体积：把权重从 16 位压到 4 位，模型大小约缩减为四分之一，消费级显卡甚至手机也能跑大模型。
• 推理更快：数据搬运量减少，且整数运算在很多硬件上更高效，生成速度往往明显提升。
• 有损压缩：比特数越低损失越大，过度量化（如低于 4 位）可能导致回答质量明显下降。
• 方案多样：常见方法包括训练后量化（PTQ）与量化感知训练（QAT），社区常用的具体方案有 GPTQ、AWQ 以及 GGUF 中的各档量化等。

常见问题

问：量化会让模型变笨吗？答:会有一定影响，但通常比想象中小。8 位量化几乎无损，4 位量化在闲聊、写作等日常任务中差距不明显；对数学、代码等精细任务，低比特量化的损失会更容易显现。

问：量化和蒸馏、剪枝有什么区别?答:三者都是模型压缩手段。量化是降低数值精度，不改变模型结构;剪枝是删掉不重要的参数;蒸馏则是训练一个小模型去模仿大模型，思路各不相同，也可以组合使用。

问：普通用户如何用上量化模型?答:最简单的方式是使用 Ollama、LM Studio 等本地运行工具，它们下载的模型默认就是量化版;显存紧张时可选更低比特的版本，追求质量则选高比特版本。