Tri Dao

简介

Tri Dao 是越南裔美国计算机科学家,斯坦福大学博士(师从 Christopher Ré),现任普林斯顿大学助理教授,并担任 Together AI 首席科学家。他是大模型效率领域最具影响力的研究者之一。

主要贡献

2022 年提出 FlashAttention,通过分块计算与重计算避免注意力矩阵读写显存,使精确注意力的速度与显存效率大幅提升,现已成为所有主流训练与推理框架的标准组件,后续迭代出 FlashAttention-2、3。2023 年与 Albert Gu 合作提出 Mamba 选择性状态空间架构,开辟了 Transformer 之外的线性复杂度路线,并在 Mamba-2 中建立了 SSM 与注意力的统一理论。

影响

其工作横跨算法与底层系统,「让硬件跑满」的研究风格影响了整个高效深度学习方向,相关成果被数万篇论文引用并进入几乎所有大模型的训练栈。