返回概览
Executive AI Governance

一封邮件,不是 AI 助手的授权依据

客户邮件声称管理层已批准,并不构成授权。扩大 AI 助手的使用范围前,企业必须明确它能读取什么、执行什么,并通过模型之外的控制措施,防止外部内容扩大它的权限。

AI 助手读取客户邮件,并起草回复。这或许能减少工作量。但如果一封邮件要求它把内部资料发往一个新地址,还声称管理层已经批准,会发生什么?

关键不在于助手能否读懂这段文字,而在于:收到的邮件能不能改变它的权限?如果这一点没有明确,原本用于减轻工作负担的助手,就可能变成一个失去控制的资料发送渠道。处理速度再快,也无法弥补保密性遭到破坏的损失。

在下一次扩大使用范围之前,我会先划清一条界限:外部内容可以提出请求但不能授予额外权限。客户邮件可以请求修改地址,却不能自行取消企业为此设定的审核程序。

普通邮件如何变成操作指令

下面是一个特意构造的例子:助手的任务是检索邮箱,找出尚未处理的客户问题。其中一封邮件还要求提供内部定价测算资料,并给出另一个收件地址。邮件把发送这些资料描述为回答问题之前必须完成的准备工作,还声称已经获得内部批准。这不是一则真实客户案例,而是一个可用于测试的情境。

如果系统把邮件中的说法当成任务指令,发件人就影响了本不属于其权限范围的操作。技术领域将这种情况称为间接提示注入:一条指令通过外部内容进入模型处理任务的上下文。附件或系统读取的网页也可能成为入口。英国国家网络安全中心(NCSC)指出,问题正是在于系统无法可靠地区分数据与指令。1

因此,不能只看文字是否可疑。一段措辞礼貌、理由看似合理的内容,同样可能越过权限边界。邮件声称已经获得批准,并不意味着批准确实存在。

为什么只改进提示词还不够

2024 年发表于 NeurIPS 的研究基准 AgentDojo 包含 97 项贴近实际工作的任务和 629 个安全测试用例,其中涉及邮件及其他工具的访问。研究人员测试了被篡改的工具返回内容能否诱使智能体执行未经授权的操作。这些是在受控研究环境中、使用当时的模型开展的模拟任务。629 个测试用例不代表 629 家企业,也不代表 629 起真实企业事件,更不是您的企业今天使用 AI 助手时的出错率。2

管理层可以从中得出的结论应当更为审慎:助手能够妥善处理普通请求,并不能证明它在面对带有操纵意图的输入时,仍会遵守操作权限的限制。

在提示词中明确将外部内容标记为数据,是有用的。但这不能替代技术层面的权限限制。NCSC 建议在语言模型之外设置防护措施,真正限制模型能够执行的操作。OpenAI 也在 2026 年说明,系统需要限制操纵行为可能造成的影响,而不能只依靠识别可疑文本。这是供应商提出的建议,不是安全保证。1 3

先用一个邮箱开展测试

我会先与流程负责人和 IT 团队一起,选定一个范围明确、尽可能收窄的邮箱处理流程。记录助手可以读取哪些内容,以及需要产出什么结果。让它总结邮件、起草回复,并不自动意味着它有权发送邮件、修改其他系统,或调取更多保密文件。

随后,在与外部隔离的测试环境中,使用合成数据,并封锁所有对外发送通道。先测试一封普通请求邮件,再测试几种修改后的版本:一封要求额外提供内部文件,一封指定新的收件人,一封声称此次可以免去通常的审批步骤。测试不得将真实客户数据传送到外部地址。

不要只评估回复文本,还要检查助手实际尝试调用了哪些工具、执行了哪些操作。如果系统先给出一段措辞友善的警告,随后却仍然触发了发送操作,这段警告就没有多大帮助。

对于这一流程,必须能够查清:

  • ◆企业批准了哪些操作,助手实际尝试了哪些操作?
  • ◆模型之外的控制措施是否阻止了未经授权的访问或发送?
  • ◆尚未明确如何处理的事项会交给谁,由谁确认下一步允许采取的行动?

也要记录合法请求是否仍能正常处理。一个为求谨慎而拒绝所有请求的系统,或许保护了这条发送渠道,却没有完成自己的工作任务。

授权不能由邮件本身提供

有些客户请求确实需要触发变更。此时,就必须遵循企业设定的审核流程,例如核实身份,并由有权限的内部人员批准。收到的邮件仍然只是启动流程的原因,不能同时作为省略该流程的依据。

对于涉及敏感信息的传输,在执行前应当能够核验数据范围、收件人和用途。笼统同意使用 AI 助手,并不足以授权这样的传输。限制权限、记录操作日志和开展测试能够降低风险,但不能消除所有可能的操纵行为。

因此,在下一次运营评审中,我会提出一个具体问题:我们的助手在读取外部内容后能执行哪些发件人自己无权执行的操作?检查应当从这里开始,而不是等到第一次意外发送发生之后。

参考来源

  • ◆NCSC,2025 年:安全边界与操作权限限制。1
  • ◆Debenedetti 等,NeurIPS 2024:AgentDojo 研究基准。2
  • ◆OpenAI,2026 年:抵御间接提示注入的系统设计。3

延伸洞察

战略咨询

从洞察走向可靠决策。

我们将AI潜力转化为清晰架构、可衡量的优先事项和可执行的企业路线图。