TensorRT

定义

TensorRT 是 NVIDIA 推出的深度学习推理优化 SDK,包含模型优化器与运行时:把训练好的模型(经 ONNX 等格式导入)编译为针对特定 GPU 高度优化的推理引擎。

优化手段

• 算子融合:将卷积、偏置、激活等相邻算子合并为单个内核,减少访存与内核启动开销。
• 精度校准:支持 FP16、INT8、FP8 等低精度推理,并提供量化校准工具控制精度损失。
• 内核自动选择:针对目标 GPU 与张量形状从多种实现中挑选最快内核。
• 动态形状与显存复用:适配可变输入并压缩显存占用。

生态

面向大语言模型,NVIDIA 在其基础上推出 TensorRT-LLM,内置 KV 缓存管理、In-flight Batching、张量并行等推理关键技术,与 Triton Inference Server 配合完成服务化部署。

局限

引擎与 GPU 型号和 TensorRT 版本绑定,需按部署环境分别构建;对包含非常规算子的模型需编写插件,灵活性不如通用框架直接推理。