GPT（生成式预训练 Transformer）

GPT（Generative Pre-trained Transformer，生成式预训练 Transformer）是美国人工智能公司 OpenAI 开发的大语言模型系列，也是当前生成式 AI 领域最具代表性的技术路线之一，知名聊天机器人 ChatGPT 正是基于 GPT 模型构建的。

概述

GPT 的名字概括了它的三个关键点：「生成式（Generative）」指模型以逐词生成的方式产出文本；「预训练（Pre-trained）」指先在互联网规模的海量文本上进行无监督学习，掌握语言的通用规律，再针对具体任务微调或对齐；「Transformer」则是它采用的神经网络架构，源自谷歌研究团队提出的注意力机制模型。GPT 使用其中的解码器结构，通过不断预测「下一个词」来完成训练。

初代 GPT 于 2018 年发布，随后的 GPT-2、GPT-3 不断扩大参数规模与训练数据量，展现出「规模越大能力越强」的现象。2022 年底，OpenAI 基于 GPT-3.5 推出 ChatGPT，引爆全球生成式 AI 热潮；此后的 GPT-4 及后续版本进一步支持图像等多模态输入，推理和编程能力也大幅提升。如今「GPT」一词已被泛化，常用来指代一整类生成式预训练语言模型。

主要特点

• 通用性强：一个模型即可完成问答、写作、翻译、摘要、代码生成等多种任务，无需为每个任务单独建模。
• 上下文学习：只需在提示词中给出示例或说明，模型就能照做，这也是「提示词工程」流行的原因。
• 规模效应：参数与数据规模的增长带来能力跃升，推动了整个行业的「大模型」路线。
• 对齐训练：通过人类反馈强化学习（RLHF）等方法，让输出更符合人类意图与安全规范。

发展脉络

GPT 系列大致经历了从「预训练加微调」到「指令对话」的演进：早期版本主要面向研究和 API 开发者；ChatGPT 让普通用户可以直接对话使用；之后的版本逐步引入多模态、更长的上下文窗口和更强的推理能力，并催生了国内外众多同类大模型产品。

常见问题

问：GPT 和 ChatGPT 是一回事吗？答:不完全是。GPT 是底层的模型系列，ChatGPT 是基于 GPT 模型打造的对话应用产品，可以理解为「发动机」和「整车」的关系。

问：GPT 会「胡说八道」吗？答:会。GPT 本质上是在预测最可能的下一个词，可能生成看似合理但实际错误的内容，即「AI 幻觉」，重要信息应自行核实。

问：只有 OpenAI 的模型才叫 GPT 吗？答:严格说 GPT 是 OpenAI 的模型系列名称，但由于影响力巨大，业界也常把同类生成式预训练大模型泛称为「GPT 类模型」。