一次审批点击,并不等于已经形成控制。它最多只能证明:流程中某个环节曾出现过一个人。这个人是否能够审查一项建议、提出异议,并真正阻止一项行动,是另一回事。
我认为,这一区分至关重要。企业将 AI 纳入决策时,并非处处都需要增加一道审批,也不需要对每项日常事务进行僵化的全面复核。真正需要的是:在错误建议会带来明显后果的地方,设置有效的审查权。否则,人的监督就会沦为对一个已无人能独立判断的流程签字。
审查权,而非仅仅在场
审核人并不会因为其姓名出现在审批日志中,就成为控制环节。只有以下四项同时具备,他才真正构成控制环节:能够依据原始数据理解相关事实;清楚决策标准,以及业务个案从何种界限起不得再自动流转;有权修改或停止该建议;并且能够将有争议的决定升级至有权负责的岗位。
这听上去理所当然。但在日常运营中,往往至少缺少其中一项。审核人只能看到 AI 的摘要式理由。所需的合同、客户或流程数据存放在另一个系统中。没有足够时间作出拒绝决定。又或者,吞吐量 KPI 对快速放行的激励,高于对有依据异议的激励。此时,审批点击不是控制点,而是一个没有决策权的额外工作步骤。
证据不支持这种简单的自我安慰。2024 年发表在 Nature Human Behaviour 的一项元分析汇总了 106 项实验,其原始研究发表于 2020 年 1 月 1 日至 2023 年 6 月 30 日之间。研究将人类与 AI 的组合表现,同更优的单独条件进行比较,即人类独自工作或 AI 独自工作两者中表现更好的一方。平均而言,组合表现低于这一基准。该效应量不是百分比。它也不意味着人类使用 AI 时总是比不使用 AI 时表现更差,或人的控制没有价值。它说明的是:两个行动主体的简单组合,并不会自然形成可靠的优势。 1
这对组织的含义不是退出 AI,而是在放行之前提出一个更严格的问题:审核人看到建议之前,必须能够自行判断什么?
独立质询测试
我不会只在一份制度文件中勾选这一点,而会针对一项有实际风险的决策,在隔离的演练环境中进行测试。故意设置的错误建议不得触发真实客户行动。测试有意在不展示 AI 建议的情况下开始。审核人先获得原始信息、预期的决策标准,以及足够时间形成自己的初步判断。之后,他才看到 AI 的建议及其理由。
接着要检验:审核人能否识别一项被有意设置为错误或不完整的建议?他能否依据可获得的数据说明异议理由?他是否有权立即停止执行?发生未决冲突时,他是否知道谁来作出决定?当不采纳 AI 建议时,后备流程是否确实有效?
关键在于独立性。在这项演练中,审核人先形成自己的判断,再查看 AI 建议。这样能检验其独立判断能力;这是一种实用测试方法,而非所有实际决策都必须遵循的统一顺序。一句“请审慎审查”远远不够。流程顺序必须让独立判断成为可能。纸面上的权利同样不够。如果审核人要提出异议还得先获得另一项批准,或者受到审批通过率、处理时间和自动化目标的压力,他就不具备实际的审查权。
NIST AI 风险管理框架是一个可用但自愿采用的参考框架。它既不是具有约束力的法律规定,也不是认证。NIST 建议明确角色、由负责的管理层承担责任、实施与风险相称的人类监督、在实际使用中进行测试和监控,并提供安全的干预机制,以便修改或停止。落实到实践中,这意味着:控制的深度必须与潜在损害相匹配;审核人需要具备能力、信息、时间和决策权。 2
对于影响轻微且可逆的日常事务,抽样审查或许已经足够。对于难以撤销的决定、会对客户造成重大后果的情形,或偏离标准的例外情况,设置独立质询步骤是恰当的。这不只是技术问题,也是组织决策。
第一步
首先,我会选定一个由 AI 辅助、错误确实会产生后果,而且当前已设有审批的决策流程。不要先重做整套控制目录。也不要从建立一个新的治理委员会开始。
对于这一项流程,起步时只需作出简短而具体的规定:审核人必须看到哪些原始数据?他在看到 AI 建议之前要形成什么判断?出现何种偏差必须停止?由谁处理升级事项?应启用哪一种人工或基于规则的后备流程?又有哪些 KPI 不得惩罚提出异议的行为?
随后进行一个有记录的测试案例。结果不应只是“已批准”,而应回答:错误建议能否被识别、基于理由被拒绝、被停止,并得到妥善的后续处理?如果其中任何一项行动缺失,控制机制就尚未具备运行能力。
一次审批点击可以是良好控制的一部分。但它不是良好控制已经存在的证据。