门控循环单元 (GRU)

门控循环单元(Gated Recurrent Unit,GRU)是一种带门控机制的循环神经网络单元,由 Cho 等人于 2014 年提出。它通过引入更新门与重置门来动态控制历史信息的保留与遗忘,从而在处理长序列时缓解传统循环网络的梯度消失问题。

概述

循环神经网络在处理长序列时容易出现梯度消失,导致难以捕捉长距离依赖。长短期记忆网络(LSTM)通过三个门和独立的记忆单元解决了这一问题,但结构较复杂。GRU 可看作 LSTM 的简化变体,它把遗忘门和输入门合并为更新门,并去掉了独立的记忆单元,直接用隐藏状态承载信息,因而参数更少、计算更快。

核心原理

• 更新门:决定当前隐藏状态在多大程度上保留旧状态、在多大程度上写入新信息。
• 重置门:决定在计算候选状态时忽略多少过去的信息。
• 候选状态:结合重置门后的历史与当前输入,生成候选隐藏状态。
• 状态融合:更新门在旧状态与候选状态之间做加权组合,得到新状态。

应用场景

在 Transformer 广泛普及之前,GRU 曾大量用于机器翻译、语音识别、时间序列预测和文本分类等序列建模任务。由于结构精简、训练高效,在数据规模有限或对推理速度敏感的场景中,GRU 至今仍是有竞争力的选择,也常出现在轻量级端侧模型中。

常见问题

问:GRU 和 LSTM 哪个更好?答:没有绝对优劣。GRU 参数更少、训练更快,LSTM 表达能力略强,实际效果因任务和数据而异,常需实验比较。

问:有了 Transformer 还需要 GRU 吗?答:在长序列全局建模上 Transformer 通常更强,但在小数据、低延迟或资源受限场景,GRU 仍有实用价值。