ControlNet

技术原理

ControlNet在原有扩散模型旁边并联了一条可训练的编码器分支，接受额外的条件图像（控制图）输入，通过「零卷积」（zero convolution，初始权重为零，训练初期不干扰原模型）将条件信息注入扩散过程。这样既保留了原模型的生成质量，又能精确施加控制。

支持的控制类型包括：OpenPose骨骼关键点（控制人体姿势）、深度图（控制三维空间关系）、Canny边缘（控制轮廓结构）、法线图、涂鸦语义分割等。单张A100只需几个小时就能训练出新的ControlNet条件分支。[1]

实际影响

ControlNet发布后，AI绘图从「提示词碰运气」变成了「精确设计」。商业插画师可以先画好构图草稿，用ControlNet保持姿势一致性再生成；视频创作者可以用前一帧的深度图控制后一帧，实现帧间一致性；时尚设计师用人台骨骼图控制虚拟模特的姿势。

论文发布一个月后，GitHub star超过15000，是2023年增长最快的AI开源项目之一。ComfyUI中的ControlNet节点成为专业AI绘图工作流的标配组件。