TensorRT-LLM

TensorRT-LLM 是 NVIDIA 开源的大模型推理优化库,基于 TensorRT 为 LLM 提供量化、算子融合与高效调度。

概述

它针对 Transformer 类模型做深度优化,在 NVIDIA GPU 上显著提升吞吐、降低延迟,是自建推理服务常用底座。

特点

与 vLLM、Triton 等配合,构成 NVIDIA 系的 LLM 推理优化栈。

• LLM 推理优化
• 厂商：NVIDIA
• 运行：GPU