CLIP 对比语言-图像预训练

CLIP(Contrastive Language-Image Pre-training)即对比式语言-图像预训练,是 OpenAI 在 2021 年发布的多模态模型。它同时训练一个图像编码器和一个文本编码器,让匹配的图文对在共享的向量空间中彼此靠近、不匹配的相互远离,从而学到跨模态的语义对齐能力。

概述

CLIP 使用从互联网收集的数亿量级图文对进行训练,不依赖人工标注的固定类别。训练完成后,只需用自然语言描述类别,模型即可对未见过的图像进行分类,这种无需额外训练样本的能力被称为零样本识别,极大拓展了视觉模型的通用性。

核心原理

• 双编码器:图像编码器与文本编码器分别把图像和文字映射为向量。
• 对比学习:在一个批次内,最大化正确图文对的相似度,最小化错误配对的相似度。
• 共享语义空间:训练后图像和文本处于同一空间,可直接计算跨模态相似度。
• 零样本迁移:通过文本提示定义类别,无需重新训练即可完成新任务。

应用场景

CLIP 被广泛用于图文检索、零样本图像分类、内容审核和图像标注。它更重要的价值在于作为基础模块,支撑了众多文生图模型的文本引导以及多模态大模型的视觉理解能力。

常见问题

问:CLIP 能直接生成图像吗?答:不能。CLIP 本身只负责理解和对齐图文,不具备生成能力,但它常与扩散模型等生成模型配合,为其提供文本引导信号。

问:CLIP 的零样本能力可靠吗?答:在常见概念上表现良好,但对细粒度、专业或罕见类别可能出错,且会受训练数据偏差影响,实际应用时需评估具体场景。