潜在扩散模型 (Latent Diffusion)

潜在扩散模型(Latent Diffusion Model,LDM)是一种在压缩后的潜在空间而非原始像素空间中运行扩散过程的生成模型。它由自编码器和扩散模型两部分组成,是Stable Diffusion的基础架构。

概述

直接在高分辨率像素上做扩散计算量极大。潜在扩散先训练一个自编码器,把图像压缩成远小于原图的潜在表示,再让扩散模型在这个紧凑空间里学习加噪与去噪。生成时在潜在空间采样,最后用解码器还原为图像,从而在有限算力下生成高分辨率图像。

核心原理

• 感知压缩:自编码器去除像素级冗余,保留语义信息,潜在空间维度远小于像素空间。
• 潜在空间扩散:U-Net去噪网络只需处理低维潜在向量,计算和显存大幅下降。
• 交叉注意力条件:通过交叉注意力把文本等条件信息注入去噪过程,实现文生图。
• 两阶段解耦:自编码器与扩散模型分开训练,职责清晰。

应用场景

潜在扩散是Stable Diffusion系列及众多开源文生图模型的骨架,广泛用于文生图、图生图、图像修复、超分辨率和可控生成。其高效性使消费级显卡也能运行大规模图像生成。

常见问题

问:潜在扩散和普通扩散模型的主要区别?答:普通扩散在像素空间运行,潜在扩散在压缩潜在空间运行,后者更省算力、更适合高分辨率。

问:自编码器会造成信息损失吗?答:会有少量感知损失,但设计目标是丢弃人眼不敏感的高频冗余,对生成质量影响有限。