稀疏自编码器 (SAE)

稀疏自编码器(Sparse Autoencoder,SAE)是一种在隐藏层施加稀疏约束的自编码器。近年来它成为大模型机械可解释性研究的重要工具,用于把模型内部纠缠的激活拆解为大量稀疏、单义的特征。

概述

大模型的单个神经元往往同时编码多种概念,即所谓多义性,难以解释。稀疏自编码器把某一层的激活向量映射到一个维度更高但激活稀疏的字典空间,期望每个字典方向对应一个人类可理解的概念,从而把混叠的表示解耦开。

核心原理

• 过完备字典:隐藏维度远大于输入,提供充足的特征方向。
• 稀疏约束:通过L1惩罚或TopK等机制,强制每次只激活少数特征。
• 重建目标:字典特征的线性组合需重建出原始激活,保证信息不丢。
• 单义特征:理想情况下每个特征对应一个清晰概念,便于人工解读与干预。

应用场景

稀疏自编码器被用于分析大语言模型的内部机制,识别与特定概念相关的特征,并通过调整这些特征方向来引导或干预模型行为。它是可解释性和AI安全研究的活跃方向,帮助揭示模型为何给出某种输出。

常见问题

问:稀疏自编码器和普通自编码器有何不同?答:普通自编码器追求压缩,稀疏自编码器追求过完备且稀疏的可解释表示,用途偏向分析而非压缩。

问:它能保证特征一定可解释吗?答:不能保证,稀疏性只是提高单义性的启发式手段,仍需人工或自动方法验证每个特征的含义。