ExecuTorch

定义

ExecuTorch 是 PyTorch 基金会(Meta 主导)推出的端侧与嵌入式推理运行时,作为 PyTorch Mobile 的继任者,目标是把 PyTorch 模型高效部署到手机、AR/VR 设备、可穿戴与微控制器上。

原理

模型经 torch.export 导出为标准化的图表示,再通过 ahead-of-time 编译流程做量化、内存规划与算子委托(delegation),将子图交给 XNNPACK、Core ML、Vulkan、高通 QNN、联发科等硬件后端执行;运行时本体极轻量,可移植性强。

应用

Meta 在 Ray-Ban 智能眼镜、Quest 头显等自家硬件上使用 ExecuTorch;社区用它在 iOS/Android 上运行 Llama 等小型语言模型,官方提供示例应用。

优缺点

优点是与 PyTorch 生态无缝衔接、后端覆盖主流移动芯片;缺点是项目较新,算子覆盖和工具链成熟度仍在快速演进中。