Noam Shazeer

简介

Noam Shazeer 是美国计算机科学家,1976 年生,曾长期任职 Google,是《Attention Is All You Need》八位作者中贡献最核心的成员之一,负责了 Transformer 的大量关键实现与设计。

主要贡献

他的多项工作构成现代大模型的基石:2017 年将稀疏门控混合专家(MoE)引入超大规模神经网络;提出多查询注意力(MQA)加速解码;论证 SwiGLU 等门控激活改进 Transformer;参与 Mesh-TensorFlow、T5、LaMDA 等项目。业内评价其为「被引用最多却最低调」的架构发明者之一。

经历

2021 年因 Google 未发布其对话模型而离职,与 Daniel De Freitas 共同创办 Character.AI;2024 年 Google 以约 27 亿美元的授权交易将其团队核心成员迎回,他出任 Gemini 项目联合技术负责人。