NF4 (4位归一化浮点)

NF4(4-bit NormalFloat,4位归一化浮点)是一种为神经网络权重量身定制的4位量化数据类型,由QLoRA方法在2023年提出。它假设权重近似服从零均值正态分布,并据此设计量化格点,使量化误差最小。

概述

大模型权重经验上接近正态分布,而普通的4位整数或浮点格式在数值轴上均匀取点,浪费了大量码字在稀有的极端值上。NF4改为按正态分布的分位数取点,让每个量化区间落入的权重数量大致相等,这在信息论上是分位数最优的。

核心特点

• 分位数量化:量化格点取自标准正态分布的分位数,而非均匀间隔。
• 信息论最优:对正态分布数据,该布点方式使每个码字被均匀利用。
• 分块归一化:权重按块归一到统一范围再量化,配合双重量化进一步压缩量化常数。
• 与LoRA配合:基座权重以NF4冻结存储,只在旁路训练低秩适配器。

应用场景

NF4是QLoRA微调的核心组件,使得在单张消费级显卡上微调数十亿参数模型成为可能。它也被许多推理框架用作权重存储格式,在保持接近全精度效果的同时大幅降低显存占用。

常见问题

问:NF4和普通INT4有何区别?答:INT4在数值上均匀取点,NF4按正态分位数取点,更贴合权重分布,同等位宽下精度通常更高。

问:NF4会让推理变慢吗?答:计算时通常先反量化回高精度再做矩阵乘,访存量下降但需要额外反量化开销,整体常仍有加速。