MNN

定义

MNN(Mobile Neural Network)是阿里巴巴于 2019 年开源的轻量级深度学习推理引擎,主打移动端与边缘设备上的高性能推理,论文发表于 MLSys 2020。

原理

MNN 采用「半自动搜索」的内核选择策略,在预推理阶段根据输入形状与硬件特性选择最优计算方案;后端覆盖 ARM CPU(含 SME/NEON 优化)、OpenCL、Vulkan、Metal 与 CoreML,支持 FP16 与 INT8 量化。

应用

在阿里内部支撑手机淘宝、天猫、优酷等应用的拍照购物、AR 特效、直播美颜等场景;开源社区亦用于安防、IoT 设备。近年推出 MNN-LLM 与 MNN Chat 应用,可在手机本地运行 Qwen 等大语言模型和多模态模型。

优缺点

优点是体积小、算子覆盖广、经超大规模业务验证;缺点是文档与国际社区生态相对英文主流框架偏弱。