RWKV

概述

RWKV(Receptance Weighted Key Value)是由彭博(Bo Peng)发起的开源序列架构,目标是结合 Transformer 的可并行训练与 RNN 的高效推理。项目已捐赠给 Linux 基金会 AI & Data,社区驱动开发。

原理

RWKV 以时间混合(time-mixing)与通道混合(channel-mixing)模块替代自注意力和前馈层,通过随距离指数衰减的加权机制聚合历史信息。训练时可像 Transformer 一样按序列并行;推理时等价为 RNN,每步只依赖固定大小的状态,显存与速度不随上下文增长。

发展与应用

架构历经 v4 到 v7(代号 Eagle、Finch、Goose 等)多次迭代,已训练出多语言的开源模型系列。RWKV 特别适合端侧部署与长序列低成本推理,是线性复杂度架构路线的代表项目之一。