状态空间模型 (SSM)

定义

状态空间模型(State Space Model,SSM)源自控制理论,用一组线性方程描述系统:隐状态按转移矩阵随时间演化,输出由状态映射得到。在深度学习中,SSM 被离散化后作为序列建模层,输入序列驱动隐状态递推,从而捕捉时序依赖。

原理

线性时不变的 SSM 可等价展开为一次长卷积,训练时用 FFT 或并行扫描高效计算;推理时按递推逐步更新固定大小的状态,复杂度与序列长度呈线性。S4 通过 HiPPO 初始化解决了长程记忆问题,使深度 SSM 在超长序列基准上首次超越 Transformer 变体。

发展

Mamba 引入输入依赖的选择机制,补齐了内容感知能力;Mamba-2 进一步揭示了 SSM 与线性注意力的对偶关系。SSM 已成为探索 Transformer 替代架构的主要方向,常以混合层形式进入生产模型。