神经网络

定义

神经网络(Neural Network)是一类受生物神经系统启发的计算模型,由大量相互连接的计算单元(神经元)分层组织而成。每个连接带有可调权重,网络通过调整这些权重从数据中学习输入与输出之间的复杂映射关系。人工神经网络是机器学习,尤其是深度学习的核心模型。[1]

原理

神经网络通常由输入层、若干隐藏层和输出层组成。每个神经元接收上一层的输入,进行加权求和并加上偏置,再经激活函数(如ReLU、Sigmoid)产生非线性输出。非线性激活使网络得以逼近任意复杂函数。训练过程通过损失函数衡量预测误差,并利用反向传播算法将误差梯度逐层回传,再由梯度下降优化器更新权重,反复迭代直至收敛。网络的层数、宽度与连接方式决定其结构与能力。

特点

神经网络的优势在于强大的函数逼近与特征学习能力,能处理非线性、高维问题,且具有通用性。其局限包括:训练需要较多数据与算力,内部决策过程难以解释("黑箱"特性),并存在过拟合、梯度消失/爆炸等训练难题,需借助正则化、归一化等技术应对。

发展

神经网络历经多次起伏,随着算力提升、大数据可得与算法改进而复兴。其衍生出卷积网络、循环网络、Transformer等多种架构,广泛应用于视觉、语音、语言等领域,成为现代人工智能的基础模型。