GPU 计算

为什么 GPU 适合深度学习

CPU 设计目标是低延迟处理复杂控制逻辑，核心数少（通常 8-64），每个核心频率高。GPU 则是大量简单核心（英伟达 H100 有 16896 个 CUDA 核心）、高内存带宽（H100 SXM5 达 3.35 TB/s），专为高吞吐并行计算设计。

深度学习训练本质上是海量矩阵乘法（前向传播和反向传播），恰好与 GPU 的并行架构契合。2009 年斯坦福 Andrew Ng 团队发现用 GPU 训练深度网络比 CPU 快 70 倍，这一发现直接推动了 GPU 在 AI 领域的应用。英伟达 2006 年推出的 CUDA（统一计算架构）让开发者用 C++ 直接编程 GPU，是技术生态护城河的关键。[1]

AI 芯片的竞争格局

• 英伟达：A100（2020）、H100（2022）、H200（2024）统治 AI 训练市场，H100 单卡售价约 3-4 万美元，但需求远超供给
• Google TPU：专为 TensorFlow 设计的张量处理单元，自用为主（训练 Gemini），v5e 开放给 GCP 用户
• AMD MI300X：显存容量 192GB 超过 H100 的 80GB，在大模型推理场景有一定竞争力
• 国内替代：华为昇腾 910B、寒武纪 MLU 系列在被制裁背景下承接国内需求，但软件生态与 CUDA 差距明显