掩码语言模型

掩码语言模型(Masked Language Model,MLM)是一种预训练范式:随机遮盖输入中的部分词,让模型据上下文预测被遮词。

概述

BERT 是其代表,通过双向上下文学习词义,擅长分类、抽取等理解类任务,与自回归 GPT 路线互补。

特点

擅长『理解』而非生成,是搜索、问答与 NLU 系统的经典基座。

• 预训练范式
• 代表：BERT
• 擅长：理解/NLU