焦点损失 (Focal Loss)

焦点损失(Focal Loss)是一种改进的分类损失函数,专为解决样本类别极度不平衡问题而设计。它在标准交叉熵的基础上引入一个调制因子,自动降低大量易分类样本的损失贡献,让训练聚焦于少数难分类样本。

概述

焦点损失于 2017 年在 RetinaNet 论文中提出。在密集目标检测中,一张图片可能产生成千上万个候选框,其中绝大多数是容易判断的背景,少数才是目标前景。若用普通交叉熵,海量易分类背景的损失会淹没前景信号,导致模型训练低效。焦点损失通过重新加权,使难例主导梯度,从而在无需复杂采样策略的情况下缓解不平衡。

核心原理

• 调制因子:在交叉熵前乘以一个随预测置信度升高而迅速趋零的因子。
• 难易区分:对模型已高置信度分对的样本,损失被大幅压低;对分错或不确定的样本,损失基本保留。
• 聚焦参数:通过一个可调的聚焦系数控制降权强度,系数越大越偏向难例。
• 类别平衡:通常再配合一个权重项平衡正负样本的相对重要性。

应用场景

焦点损失最初用于单阶段目标检测器 RetinaNet,使其精度媲美两阶段方法而速度更快。此后它被广泛用于各种存在类别不平衡的任务,如医学图像中稀疏病灶的分割、罕见事件分类和长尾识别等,是处理不平衡数据的常用工具。

常见问题

问:焦点损失和交叉熵是什么关系?答:焦点损失是交叉熵的推广。当聚焦系数取零时,它退化为普通交叉熵;系数增大后,则逐步压低易分类样本的权重,让模型更关注难例。

问:什么时候该用焦点损失?答:当训练数据存在明显的类别不平衡,尤其是负样本远多于正样本时,焦点损失往往能带来提升;若数据本身较为均衡,使用它的收益有限。