模型微调 (Fine-tuning)

模型微调（Fine-tuning）是指在已经完成预训练的机器学习模型基础上，使用特定领域或特定任务的数据继续训练，让模型更好地适应目标场景的技术。

概述

训练一个大模型需要海量数据和昂贵算力，绝大多数团队无法从零开始。微调提供了一条捷径：预训练模型已经掌握了通用的语言理解或图像识别能力，开发者只需在此基础上用少量高质量的领域数据「二次加工」，就能得到贴合自身业务的定制模型。它本质上是迁移学习的一种应用。

在大语言模型时代，微调被广泛用于让通用模型学会行业术语、遵循固定的输出格式、模仿特定语气，或者对齐人类偏好。常见的指令微调（SFT）就是用「问题-理想回答」样本训练模型，使其更听得懂指令。

主要方法

• 全参数微调：更新模型全部权重，效果上限高，但显存和算力开销大。
• 参数高效微调（PEFT）：只训练一小部分新增参数，代表方法有 LoRA、QLoRA、Adapter 等，消费级显卡也能跑，是目前个人和中小团队的主流选择。
• 指令微调（SFT）：用指令-回答对训练，让基座模型变成能对话、会执行任务的助手模型。

微调与提示词、RAG 的关系

三者是让大模型适配业务的不同层次手段：提示词工程零训练成本、见效最快；RAG 通过外挂知识库补充事实，适合知识频繁更新的场景；微调则改变模型本身，适合固化风格、格式和领域能力。实践中三者常常组合使用，而不是互相替代。

常见问题

问：微调需要多少数据？答：取决于任务复杂度。教会模型固定格式或语气，几百到几千条高质量样本往往就有明显效果；数据质量通常比数量更重要。

问：微调和 RAG 该选哪个？答：想让模型「知道」最新或私有的事实，优先 RAG；想让模型「学会」某种能力、风格或格式，选微调。两者可以同时用。

问：微调会让模型变笨吗？答：可能。用窄领域数据过度训练会造成「灾难性遗忘」，损失通用能力，因此需要控制训练强度并混入通用数据。