损失函数

常见损失函数及其适用场景

均方误差（MSE）：(预测值 - 真实值)² 的均值，适合连续值回归，对异常值敏感（误差大的样本权重更高）。平均绝对误差（MAE）则对异常值更鲁棒。

交叉熵（Cross-Entropy）是分类任务的标配。对于二分类，它等价于最大化正确类别的对数概率；多分类则在 softmax 后计算。比 MSE 好的地方在于梯度更大、收敛更快——当预测概率接近 0 但真实标签为 1 时，MSE 梯度很小（已经「饱和」），交叉熵则给出大梯度，督促模型快速修正。

语言模型训练用的是下一个 token 预测损失，本质是词表大小（5 万维）上的交叉熵，每次前向传播对序列里每个位置都算一个损失然后取均值。[1]

损失函数的设计即任务定义

很多算法创新的核心就是设计一个新损失函数。举几个典型例子：

• Triplet Loss（2015，Google FaceNet）：让同一人脸的不同图片的 Embedding 互相靠近，不同人的拉远，专门为人脸识别设计。
• Focal Loss（2017，Facebook RetinaNet）：给难分类的样本分配更高权重，解决目标检测中前景/背景极不平衡的问题。
• CLIP 对比损失：让匹配的图文对向量相似度最大，不匹配的最小，联合训练视觉和语言编码器。

好的损失函数需要可微分（梯度下降能用）、量化了真正关心的目标，且在实际数值上稳定（不会出现 NaN）。