Sigmoid 函数

Sigmoid函数是一种经典的S形激活函数,能将任意实数平滑地压缩到0与1之间。它在早期神经网络中被广泛用作激活函数,如今主要用于二分类输出层和各种门控机制。

概述

Sigmoid输出可解释为概率:输入趋向正无穷输出接近1,趋向负无穷输出接近0,输入为0时输出恰为0.5。这一性质使它天然适合表示某事件发生的概率,是逻辑回归和二分类的标准输出激活。

核心特点

• 有界输出:值域限定在0到1,便于当作概率解读。
• 平滑可导:处处光滑,导数有简洁形式,便于反向传播。
• 梯度消失:在输入绝对值较大时导数趋近于零,深层网络中易导致梯度消失。
• 非零中心:输出恒为正,会使梯度更新方向受限,收敛略慢。

应用场景

Sigmoid常用于二分类模型的输出层给出概率,以及LSTM、GRU等结构中的门控单元,用来控制信息保留与遗忘的比例。在多分类任务中通常改用Softmax,而深层隐藏层则多改用ReLU或GELU以缓解梯度消失。

常见问题

问:Sigmoid和Softmax有什么区别?答:Sigmoid对每个输出独立压缩到0到1,适合二分类或多标签;Softmax让所有类别输出归一化相加为1,适合互斥的多分类。

问:为什么现代隐藏层很少用Sigmoid?答:因为它容易导致梯度消失且输出非零中心,深层网络更倾向用ReLU、GELU等激活。