自然语言处理（NLP）

预训练模型改变了什么

传统 NLP 每个任务（命名实体识别、情感分析、机器翻译）需要单独标注数据、设计特征、训练模型，成本高昂。2018 年 Google 发布 BERT（双向 Transformer 预训练），第一次让一个模型在未标注的大规模文本上学习语言知识，然后用少量标注数据微调到各类下游任务，GLUE 基准上的 11 项任务同时刷新记录。

BERT 的训练目标是「掩码语言模型」（MLM）：随机遮盖 15% 的词，预测被遮盖的词。这迫使模型同时利用上下文的双向信息，而 GPT 系列则是单向的「下一词预测」，更适合生成任务。[1]

NLP 的典型任务图谱

• 分词：中文无天然空格边界，分词是中文 NLP 的基础预处理（jieba、HanLP）
• 命名实体识别（NER）：从文本中提取人名、地名、机构名，新闻信息抽取的基础
• 情感分析：判断评论是正面还是负面，电商平台的差评预警系统常用
• 机器翻译：谷歌翻译 2016 年切换到神经网络（GNMT），翻译质量大幅提升；DeepL 在欧洲语言对上被认为超过谷歌
• 信息抽取：从非结构化文本中提取结构化关系（某人在某公司任某职）