量化压缩

量化压缩(Model Quantization)是将模型权重与激活从高精度(如 FP16/BF16)降至低精度(如 INT8、INT4)的技术,以减小体积、提升推理速度。

概述

常见格式有 GGUF(配合 llama.cpp)、GPTQ、AWQ 等,可在基本保持效果的同时让大模型在消费级硬件上运行。

意义

是端侧大模型与低成本部署的基石,直接决定模型能否『跑得动、跑得快』。

• 低精度压缩