对比学习 (Contrastive Learning)

定义

对比学习(Contrastive Learning)是一类表示学习方法,核心思想是在嵌入空间中拉近语义相似样本(正样本对)的距离,同时推远不相似样本(负样本对),从而在无需人工标签的情况下学到有判别力的特征。

原理

典型做法是对同一数据做两种随机增强得到正样本对,批内其他样本作为负样本,用 InfoNCE 损失优化。SimCLR 证明了大批量加强增强策略的有效性;MoCo 用动量编码器和队列扩充负样本;BYOL、SimSiam 则表明不用显式负样本也可行。

应用

对比学习是自监督视觉预训练的里程碑路线;CLIP 将其用于图文对齐,支撑了多模态检索与文生图;句向量模型(如 SimCSE)与检索嵌入模型也普遍采用对比目标训练,是 RAG 系统中向量检索的基础。

局限

效果依赖增强策略与大批量负样本,存在假负样本问题;在语义粒度的把控上需要精心设计正负样本构造。