多模态模型

多模态的技术路线

多模态模型面临的核心问题是：如何把不同模态的信息对齐到同一表示空间。目前有两条主要技术路线：

• 联合编码器：CLIP（2021）直接让图像编码器和文本编码器在对比学习目标下共同训练，强迫图文表示在同一空间对齐。4 亿图文对训练，不需要人工标注，自监督完成。
• 适配器/跨模态注意力：把预训练的视觉编码器（如 ViT）输出连接到预训练 LLM，中间加一个轻量级「桥接」模块（如 LLaVA 的线性层，或 Flamingo 的 Perceiver Resampler）。LLM 主干权重可以冻结，大幅节省训练成本。

GPT-4V（2023）的内部实现未公开，但从行为推测是把图像 patch 编码后作为额外 token 送入 Transformer，和文本 token 统一处理。[1]

能力边界与典型应用

多模态模型最具价值的场景是那些单靠文字描述无法完整传达信息的任务：

• 看图解题（数学公式、图表分析），这是 GPT-4V 相比 GPT-4 最明显的提升。
• 医学影像辅助诊断：Med-PaLM M（Google，2023）在放射科报告生成上达到接近专科医生水平。
• 文档理解：发票、表格、PDF 扫描件不需要 OCR 预处理，直接送入视觉模型。

音频模态方面，OpenAI 的 GPT-4o（2024）支持实时语音对话，延迟降至 232ms，首次让 AI 实时语音交互体验接近真人。视频理解则是 Gemini 1.5 Pro（百万 token 上下文）的强项，可以分析一小时以上的视频内容。