错误的问题从工具开始
企业谈自动化时，现场通常都有同一种期待：减少等待时间，减少手工工作，释放更多产能。这种期待合理。问题出在，讨论随后变成了还可以自动化掉哪个岗位。这样一来，原本关于工作方式的决定，很快就变成了一项没有人明确作出的责任决定。
我的判断很明确：企业绝不能把经营责任、价值判断，以及在适当时点介入的能力交给模型。这不是对技术作出的笼统或永久性禁令。工作活动会变化，模型会变化，经过测试的风险边界也可能变化。但有一项义务不会消失：必须由一名负责的人权衡后果、为决定负责，并在出现新信息时介入。
因此，相关的单位不是岗位名称，也不是整个端到端流程，而是在一项决策语境下的单个活动。模型可以整理信息，依据条款库审阅合同草案，或标记政策中的例外情况。它不应自行决定一份非标准合同是否可以接受，哪位客户应因酌情处理而获得例外，或如何开展一次敏感的员工谈话。这里的情形只是示例，并非一份完整的禁止清单。
这种差异在经济上具有实际意义。活动边界划分错误，带来的不只是错误，还包括责任不清、例外处理失当、控制团队过载，以及发生争议时无人能够解释的决定。恰恰在自动化本应带来速度的地方，这些问题会吞噬速度。
支持不等于自主决策
我会严格区分三种运行方式。
支持提供建议、检索、摘要或预先梳理。负责人员进行审查并作出决定。这种方式可以节约大量时间，而不转移决策权。
有限的规则式执行在预先批准的规则范围内，完成一项边界清晰的操作。例如，系统可以将完整的数据转入既有系统，或在条件明确满足时触发一个标准流程。出现例外时，必须有回到人工处理的路径。
自主决策由系统自行在后果不同的选项之间作出选择。它可能决定价格、批准、优先级或沟通方式。对客户、员工、合同义务、安全或声誉的影响越大，事后查看仪表盘上的一个数值就越不足够。
这不是措辞上的细微差别。合同起草可以属于支持。对责任条款的决定，则是在不确定性下作出的价值判断。例外批准可以包含规则式部分。但在具体情境中，它是否公平、适当且在商业上可承受，往往无法完全从历史数据中推导出来。
人也会作出错误决定，并带有自身偏见。但这并不意味着只要在模型建议旁加上一个人的名字就够了。只有当该人员具备胜任能力、能够看到关键信息、有时间审查、可以提出异议，并且拥有真实的停止或回退选择时，人工审查才是审查。
企业为何把自动化推进得过远
原因很少在于某一个糟糕的模型。它往往更早就开始了，起于对工作的描述方式。
第一，活动被切分得过于粗略。“处理合同”“决定客户事项”或“解决员工个案”听起来像是一项工作。实际上，每一种表述都包含检索、规则核验、沟通、例外判断以及对后果的决定。若把全部内容视为一个自动化案例，规范性的决定就会在不知不觉中一并进入系统。
第二，模型能力被误认为是运营上的可接受性。一份看似合理的草案，并不能证明模型可以安全地作出决定。问题不只是：系统在测试中能否生成一个好答案？还在于：在这一数据背景、这一例外情形、这一潜在损害以及这一回退流程下，这种表现是否成立？
第三，错误的指标往往居于中心。若只衡量已处理业务个案数或周转时间，就会奖励把困难业务个案转移给后续团队。审查工作量、纠正、升级处理以及最终决定的质量，都会因此从视野中消失。
第四，“人工参与”常被当作一个标签。一条长链路末端的批准点击，并不是独立审查，尤其当审核者既不能追溯原始数据，也无法理解规则边界时。在高吞吐压力下工作的人员，同样不是可靠的控制机制。
证据实际说明了什么
问题不在于 AI 是否可能有用。在人仍对流程负责时，它可以有用。2025 年发表于《经济学季刊》的一项研究，观察了某家《财富》500 强业务流程软件供应商的 5,172 名客户支持人员。研究发现，在获得一款基于 GPT-3 的回复助手后，每小时成功解决的咨询或聊天数量增加了 15%。员工仍对对话负责，并可以修改或忽略建议。这为由人负责的支持提供了一项机会，而不是自动节省成本的证明，也不能据此普遍推及其他企业。该效果还因经验和能力而异。这是在一家企业逐步引入辅助工具的观察，并非关于自主行动的实验。 1
边界同样重要。一项已预注册的随机实验，参与者为 758 名波士顿咨询公司（BCG）顾问，于 2026 年在线发表，实验采用的是 2023 年 6 月版本的 GPT-4。对于一项位于已识别 GPT-4 能力边界之外的选定复杂管理任务，与对照组相比，AI 辅助组得出正确方案的概率下降了约 19 个百分点。这不是一般错误率，也不是对所有当前模型或企业决策的判断。它给出的是一个精确提示：即使技术能力很强，可接受的自动化程度仍取决于具体任务及其经测试的边界。 2
这两项发现并不矛盾。它们涉及不同的工作任务和系统，但揭示了同一个管理问题的两个方面。支持可以提升表现。在已识别的能力边界之外，一个令人信服的建议可能降低决策质量。因此，企业不能从一次成功演示就推断出可以赋予自主责任。
NIST AI 风险管理框架提供了一个自愿采用的指引框架。它既不是有约束力的瑞士或欧盟法律规定，也不是认证。NIST 强调记录在案的角色、管理层对 AI 风险决策的责任、差异化的人工监督、在预期使用场景中的测试、监测，以及安全的修改或停止机制。正是这些要素，才能把抽象的控制要求转化为可检验的运营决定。 3
在进一步推进自动化前的四项控制标准
在企业把一项活动从建议推进至规则式执行，或从规则式执行推进至自主决策之前，我会要求以书面形式回答四个问题。这不是治理表演，而是供指定负责人批准时使用的依据。
是否有人对决定及其后果负责？
每一项结果都需要有一名被明确指定的人员或职能，能够为该决定负责。这种责任不能委托给模型。如果无人能说明谁来纠正错误的例外、通知客户或评估损害事件，自动化边界就是设错了。
当一项决定难以逆转时，这一标准尤其严格。一份错误草案可以修改。但对有理由的投诉作出错误拒绝、无正当理由地拒绝一项请求，或一次处理失当的员工互动，都可能在团队介入前就损害信任。
这项活动是否包含未被编码的价值判断？
规则可以映射清晰条件，但不能自动裁决每一种目标冲突。酌情处理与一视同仁、短期利润与客户关系、速度与安全，或形式规则与正当的特殊利益之间，都需要有意识地权衡。
因此，企业不应问模型能否写出理由，而应问其背后的权衡是否已经作为稳定且获批准的规则存在。若不是，决定就应由合格人员作出。模型可以做准备工作，也可以让备选方案变得可见。
控制机制能否真正推翻建议？
控制不只要能够同意。审核者必须能够访问相关原始数据、现行规则体系，以及业务个案超出正常范围时所需的信息。他或她必须可以在没有 KPI 压力的情况下拒绝、修改、停止或升级一项建议。
在实践中，这意味着不能只记录最终建议。决策依据、所用背景、例外情况和纠正措施也必须可见。在无法进行独立审查的地方，不能用一个形式上的批准步骤来使自动化显得正当。
边界是否经过测试，回退是否具备运营能力？
可接受的边界不是项目启动时的假设，而是针对预期使用范围进行测试的结果。系统可以处理哪些业务个案？它以什么数据质量为前提？出现什么信号时必须停止执行？随后由谁在多长时间内，依据哪些信息接手？
回退流程不是为了演示而设置的技术紧急出口，它属于交付能力的一部分。停止后，如果一个团队不知道如何正确接手一项业务，自动化就是在转移风险，而不是管理风险。监测同样重要：新产品、变更后的政策、不同的客户群体或变化的数据，都可能移动已经测试过的边界。