感知机 (Perceptron)

定义

感知机(Perceptron)由 Frank Rosenblatt 于 1957 年提出,是一种二分类的线性分类模型,输入为特征向量,输出为 +1 或 -1。它是最早的可学习机器之一,被视为神经网络的雏形。

原理

感知机学习一个分离超平面 w·x+b=0,将样本划分到两侧。训练采用误分类驱动的策略:每遇到一个被错分的样本,就沿其梯度方向更新权重 w 和偏置 b。若训练数据线性可分,感知机收敛定理保证算法在有限步内收敛。

局限

Minsky 与 Papert 在《Perceptrons》一书中指出单层感知机无法解决异或(XOR)这类线性不可分问题,这一结论曾导致神经网络研究陷入低潮。后来的多层感知机配合反向传播算法克服了该限制。

意义

感知机确立了"通过迭代修正权重来学习"的范式,其对偶形式还启发了核方法,是理解现代神经网络和支持向量机的入门基石。