变分自编码器 (VAE)

变分自编码器(Variational Autoencoder,VAE)是2013年提出的一类生成模型,把自编码器与变分推断结合。它不把输入映射为单一潜在向量,而是映射为一个概率分布,再采样重建,从而具备生成能力。

概述

普通自编码器学到的潜在空间往往不连续,难以直接采样生成新数据。VAE通过让编码器输出潜在分布的均值和方差,并对潜在分布施加先验约束,使潜在空间平滑而连续,便于在其中采样生成合理的新样本。

核心原理

• 编码为分布:编码器输出潜在变量的均值与方差,而非确定向量。
• 重参数化技巧:把随机采样改写为可导形式,使梯度能通过采样反向传播。
• 证据下界:训练目标是最大化证据下界,等价于重建误差加上潜在分布与先验的KL散度。
• 正则潜在空间:KL项迫使潜在分布贴近标准正态先验,保证空间平滑可采样。

应用场景

VAE用于图像生成、异常检测、数据压缩和表示学习。在现代生成系统中,它常作为潜在扩散模型的第一阶段编码器,把图像压缩到潜在空间供扩散模型使用,是众多文生图系统的重要组件。

常见问题

问:VAE和普通自编码器的核心区别?答:普通自编码器输出确定向量、潜在空间不规则;VAE输出概率分布并加KL约束,潜在空间平滑可生成。

问:VAE生成的图像为什么常偏模糊?答:常用重建损失和潜在采样带来的平均效应会导致细节被平滑,因此纯VAE生成往往不如GAN或扩散模型清晰。