端侧大模型

端侧大模型(On-device LLM)指不依赖云端、直接在手机、PC 或 IoT 设备上本地运行的大语言模型,强调隐私与离线可用。

概述

借助模型量化、蒸馏与 NPU 加速,7B~数十亿参数模型已可在端侧流畅推理;苹果 Intelligence、端侧小模型与各类本地助手是典型形态。

意义

降低云端成本与延迟、保护数据隐私,是 AI 从云向端下沉的关键趋势。

• 本地运行/离线