TPU 张量处理器

简介

TPU(Tensor Processing Unit,张量处理器)是一类专为机器学习,尤其是神经网络计算而设计的定制化加速芯片。它由谷歌率先提出,旨在高效执行深度学习中大量的矩阵与张量运算。

技术原理

TPU 的核心是脉动阵列(Systolic Array),即将大量乘加单元排列成网格,数据像脉搏一样在阵列中流动,从而以极高的并行度完成矩阵乘法,大幅减少访存开销。

TPU 还针对深度学习广泛采用低精度计算(如 8 位整数、bfloat16),在保证模型精度的前提下显著提升吞吐量和能效。它属于面向特定领域的 ASIC。

特点

• 面向张量运算高度优化,吞吐量极高。
• 能效比优于通用处理器和部分 GPU。
• 通用性较弱,主要服务于深度学习负载。

应用

TPU 广泛用于大规模深度学习模型的训练与推理,支撑搜索、翻译、图像识别以及大语言模型等云端 AI 服务,也有面向边缘设备的小型化版本。

发展

随着 AI 算力需求爆发,各类专用 AI 加速芯片快速演进,TPU 也历经多代升级,不断提升算力规模与互联能力。