ONNX

定义

ONNX(Open Neural Network Exchange)是一种开放的神经网络模型交换格式,由微软和 Facebook(现 Meta)于 2017 年联合发起,后成为 Linux 基金会旗下的开源项目。

原理

ONNX 用统一的计算图和算子集(opset)描述模型:节点表示算子,边表示张量数据流。训练框架(如 PyTorch、TensorFlow)可将模型导出为 .onnx 文件,再由支持 ONNX 的推理引擎加载执行,从而实现「一次训练,多处部署」。

应用

ONNX 广泛用于模型从训练环境向生产环境的交付:配合 ONNX Runtime、TensorRT、OpenVINO 等引擎,可在服务器、桌面、移动端和浏览器中运行同一模型。

局限

自定义算子和动态控制流的导出支持有限,部分新模型结构需要等待算子集更新;大语言模型时代,其地位部分被 GGUF、safetensors 等格式分流。