神经网络与深度学习

AlexNet 点燃的革命

2012 年之前，ImageNet 图像分类竞赛（ILSVRC）的最佳方法依赖手工设计特征（SIFT、HOG），错误率约 25%。Geoffrey Hinton 团队的 AlexNet 用 8 层卷积神经网络，在两张 GTX 580 GPU 上训练一周，将 Top-5 错误率降至 15.3%，比第二名低 10 个百分点。这一结果震惊了整个计算机视觉学界。

AlexNet 成功的关键要素：大量标注数据（120 万张图片）、GPU 加速训练、ReLU 激活函数（解决深层梯度消失）、Dropout 正则化（防止过拟合）——这四点沿用至今。[1]

主要网络架构与适用场景

• CNN（卷积神经网络）：图像任务的主力，ResNet、EfficientNet 是常用骨干网络；通过共享卷积核捕捉局部特征，平移不变性是天然优势
• RNN / LSTM：处理序列数据（时间序列、早期 NLP），但长序列的梯度消失问题限制了其表现上限
• Transformer：2017 年起统治 NLP，2020 年起入侵视觉（ViT），自注意力机制天然并行，与 GPU 的矩阵乘法匹配
• GAN（生成对抗网络）：图像生成领域的主力（直到扩散模型 2022 年后取而代之）