长短期记忆网络(LSTM)

长短期记忆网络(Long Short-Term Memory,LSTM)是一种改进的循环神经网络,由塞普·霍克赖特与于尔根·施密德胡贝尔于一九九七年提出。它通过引入记忆单元和门控机制,使网络能够跨越较长时间步保留有用信息,从而有效缓解普通循环网络在长序列上的梯度消失与梯度爆炸问题。

概述

普通循环神经网络在处理长序列时,反向传播的梯度会随时间步指数级衰减或膨胀,导致难以学习远距离依赖。LSTM 的关键创新是引入一条贯穿时间的记忆单元通道,信息可近乎无损地沿这条通道流动,并由若干门控单元决定何时写入、保留或读取,从而实现对长期依赖的建模。

核心原理

• 记忆单元:承载跨时间步的长期状态,通过近似线性的更新减少梯度衰减。
• 遗忘门:决定上一时刻的记忆保留多少,用来丢弃过时信息。
• 输入门:控制当前候选信息写入记忆单元的比例。
• 输出门:决定记忆单元中的哪些信息输出为当前隐藏状态。
• 各门由带激活函数的加权组合产生介于零与一之间的开关值,平滑地控制信息流。

应用场景

LSTM 在深度学习兴起后长期主导序列建模领域,广泛用于机器翻译、语音识别、手写识别、时间序列预测、文本生成与情感分析等。在许多需要建模时间依赖的任务中,它一度是默认选择,也常与卷积网络、注意力机制结合构建更强的混合模型。

常见问题

问:LSTM 为什么能缓解梯度消失?答:记忆单元的更新以加法为主,配合遗忘门可近似保持梯度,使误差信号能沿时间通道较稳定地反向传播,从而学习到远距离依赖。

问:如今 Transformer 出现后 LSTM 还有用吗?答:在超长文本等任务上注意力模型往往表现更好且更易并行,但 LSTM 在流式处理、低资源与轻量部署等场景仍有实用价值,并未被完全取代。