微调 (Fine-tuning)

定义

微调(Fine-tuning)是指在大规模数据上预训练得到的通用模型基础上,使用规模相对较小的特定任务或特定领域数据继续训练,从而使模型适配目标场景的技术。它是「预训练-微调」两阶段范式的关键环节,通过迁移预训练阶段习得的通用知识,以较低成本获得专用能力。[1]

原理

微调的理论基础是迁移学习。预训练模型已在海量数据中学习到丰富的语言或视觉表征,这些表征具有良好的通用性与可迁移性。微调阶段在此基础上,以较小的学习率对模型参数进行调整,使其在保留通用知识的同时,适应新任务的数据分布与目标。根据调整范围可分为:全量微调,更新模型全部参数,效果上限高但计算与存储开销巨大,且易在小数据上过拟合;参数高效微调(PEFT),仅训练少量新增或选定参数,如 LoRA、适配器、前缀微调等,以远低的成本逼近全量微调的效果。

方法

常见微调形式包括:面向特定任务的有监督微调;遵循人类指令的指令微调,提升模型的泛化遵循能力;以及结合人类偏好的对齐微调(如 RLHF)。微调过程需审慎设置学习率、训练轮数与数据质量,以防灾难性遗忘(模型遗忘原有通用能力)与过拟合。

应用

微调广泛应用于将通用大模型适配至医疗、法律、金融等垂直领域,或定制特定的对话风格、输出格式与专业技能。相较于从零训练,微调大幅降低了数据需求与算力成本,使中小机构亦能打造专属模型。它与提示工程、检索增强等手段互补,共同构成大模型落地应用的核心技术栈。