GPT 生成式预训练

GPT(Generative Pre-trained Transformer)即生成式预训练 Transformer,是 OpenAI 自 2018 年起推出的一系列大语言模型。它以仅解码器的 Transformer 为骨架,通过在海量文本上自回归地预测下一个词元完成预训练,再结合微调或指令对齐用于各类生成任务。

概述

GPT 系列走的是与 BERT 不同的技术路线:强调生成能力与规模扩展。随着参数量和训练数据的持续增长,模型逐渐展现出上下文学习、指令跟随乃至一定推理能力。2022 年基于 GPT-3.5 的 ChatGPT 发布,引发了全球对生成式人工智能的广泛关注。

核心原理

• 自回归生成:模型逐个预测下一个词元,并把已生成内容作为后续预测的上下文。
• 仅解码器架构:使用带掩码的自注意力,保证生成时只能看到当前及之前的内容。
• 大规模预训练:在互联网级别的文本上学习通用语言与世界知识。
• 对齐微调:通过监督微调与人类反馈强化学习,使输出更符合用户意图与安全要求。

应用场景

GPT 系列被广泛用于对话助手、文本创作、代码生成、翻译摘要、知识问答等场景,并作为基础模型接入大量应用和智能体系统,成为当前生成式 AI 生态的核心之一。

常见问题

问:GPT 会说错话或编造事实吗?答:会。由于它本质是根据概率预测文本,可能产生看似合理但不准确的内容,这一现象通常称为幻觉,使用时需注意核实。

问:GPT 和 Transformer 是什么关系?答:GPT 是基于 Transformer 架构构建的具体模型系列,采用其中的解码器部分,并在此基础上做了规模化与工程化改进。