模型微调（Fine-tuning）

模型微调（Fine-tuning）是指在已经完成预训练的机器学习模型（尤其是大语言模型）基础上，使用规模较小、更有针对性的数据继续训练，使模型更好地适应特定任务或领域的技术。

概述

现代大模型通常先在海量通用数据上进行预训练，学到广泛的语言和知识能力，但它并不了解某个企业的业务规则、某个行业的专业表达，或某种特定的输出风格。微调就是在这个「通才」基础上做「专项训练」：准备一批高质量的示例数据（如问答对、对话记录、标注文本），让模型在这些数据上继续学习，从而变成更符合需求的「专才」。

相比从零训练一个模型，微调所需的数据量和算力都小得多，因此成为个人开发者和企业定制 AI 能力的主流方式。常见做法包括调整模型全部参数的全参数微调，以及只训练少量附加参数的参数高效微调（如 LoRA），后者显存占用低，在消费级显卡上也能进行。

主要特点

• 站在预训练的肩膀上：复用大模型已有的通用能力，只需补充领域知识或调整行为风格。
• 数据需求相对较小：通常几百到几万条高质量样本即可见效，数据质量比数量更重要。
• 方法多样：包括全参数微调、LoRA 等高效微调、指令微调、基于人类反馈的对齐训练等。
• 可控性强：能固化输出格式、语气和专业术语，适合客服、法律、医疗等垂直场景。

微调与其他方案的区别

与提示词工程相比，微调把要求「写进」模型参数里，效果更稳定，但需要训练成本；与检索增强生成（RAG）相比，微调更擅长改变模型的行为和风格，而 RAG 更擅长注入随时更新的事实知识。实践中三者常常结合使用。

常见问题

问：微调需要很多数据和显卡吗？答：不一定。使用 LoRA 等参数高效方法，几千条优质样本加一块消费级显卡就能微调中小规模开源模型；主流云服务商也提供在线微调服务。

问：微调能让模型学会新知识吗？答：可以在一定程度上注入领域知识，但更适合塑造行为和风格；对于频繁更新的事实性内容，通常建议配合 RAG 使用。

问：微调会让模型变笨吗？答：如果训练数据过窄或训练过度，可能出现「灾难性遗忘」，削弱通用能力，因此需要控制训练强度并混入部分通用数据。