HBM（高带宽内存）

为什么 AI 芯片需要 HBM

大模型训练本质上是密集矩阵乘法，计算单元可以做到极快，但如果数据从内存传输跟不上，计算单元就会「饿着」等数据。GDDR6X 的带宽约 1 TB/s，而 H100 的 HBM3 带宽达 3.35 TB/s，这条带宽差距直接转化为 LLM 推断速度的差异——处理每个 Token 时需要读取整个模型权重，带宽越宽，Token 生成速度越快。

HBM 通过将 DRAM 芯片叠放在 GPU 旁边，用TSV（硅穿孔）连接上下芯片，再通过Interposer（中介层）与 GPU Die 相连，将内存总线宽度从 GDDR 的 384 位扩展至 1024 位甚至 5120 位，这是带宽翻倍的根本原因。[1]

HBM 版本与供应瓶颈

HBM2e（2020年）用于 A100，带宽 2 TB/s；HBM3（2022年）用于 H100，带宽 3.35 TB/s；HBM3e（2024年）用于 H200，带宽提升至 4.8 TB/s。SK 海力士、三星、美光是全球仅有的三家 HBM 供应商，由于封装难度高、良率控制复杂，HBM 产能长期是 AI 芯片的卡脖子环节。2023-2024 年全球 AI 芯片需求暴增，SK 海力士几乎将全部 HBM3e 产能独供英伟达，三星 HBM3e 认证延迟导致市场份额下滑引发广泛关注。