提示注入 (Prompt Injection)

提示注入(Prompt Injection)是一种针对大语言模型应用的安全攻击手法。攻击者通过在输入中嵌入精心构造的指令,试图覆盖或篡改开发者预设的系统提示,诱使模型忽略原有约束、泄露信息或执行非预期操作,是 LLM 应用最典型的安全风险之一。

概述

大模型应用通常由系统提示和用户输入拼接而成,而模型难以严格区分二者的信任级别。提示注入正是利用这一点:攻击者在用户可控的文本中植入类似忽略以上所有指令之类的语句,让模型转而听从攻击者。随着模型接入网页、邮件、文档等外部数据源,风险进一步放大,催生了更隐蔽的间接注入。

核心特点

• 直接注入:攻击者在对话输入中直接下达恶意指令,试图夺取控制权。
• 间接注入:恶意指令藏在模型将读取的外部内容中,如网页或文档,用户毫不知情。
• 指令混淆:模型无法可靠区分系统预设与用户数据,导致边界被突破。
• 后果多样:可能造成敏感信息泄露、执行危险操作或输出违规内容。

应用场景

提示注入在接入外部数据的 AI Agent、自动化邮件助手、网页浏览智能体和 RAG 系统中威胁尤为突出。例如智能体在读取一封含有隐藏指令的邮件时,可能被诱导发送用户隐私。防御手段包括输入隔离、权限最小化、输出过滤以及对外部内容做标记与净化,但目前尚无彻底解决方案。

常见问题

问:提示注入和越狱是一回事吗?答:两者相关但不完全相同。越狱侧重绕过模型自身的安全对齐让其输出违规内容;提示注入则侧重覆盖应用层的系统指令,劫持应用行为。间接提示注入尤其危险,因为受害者往往毫无察觉。

问:能彻底防住提示注入吗?答:目前难以根治。由于模型本质上把所有文本一视同仁,业界只能通过权限隔离、内容过滤和人工确认等多层防护降低风险,而非完全消除。