NCNN

定义

NCNN 是腾讯优图实验室于 2017 年开源的高性能神经网络前向推理框架,专为移动端和嵌入式设备优化,是国内最早、影响力最大的端侧推理框架之一。

特点

纯 C++ 实现,无任何第三方库依赖;针对 ARM CPU 做了大量 NEON 汇编级优化,并通过 Vulkan API 支持跨厂商的移动 GPU 加速;支持 INT8 量化、FP16 存储,库体积小,可裁剪编译。

应用

广泛用于手机 QQ、微信等腾讯系应用的图像特效、人脸检测等场景;社区中 YOLO 系列目标检测、超分辨率、人像分割等模型的移动端部署大量采用 NCNN,配套的 PNNX 工具负责从 PyTorch 转换模型。

优缺点

优点是轻量、快、跨平台(Android/iOS/Linux/WebAssembly);缺点是聚焦中小视觉模型,不适合大语言模型等超大规模负载。