更智能的AI代理并不意味着更好的AI代理

我不理解为什么人们认为让模型变得更智能、更强大就能解决一切问题。我认为他们混淆了AI代理的两种不同能力：1. 能力 2. 可靠性。让代理更智能可以提升其能力。它能够更好地规划、编写更优质的代码、使用更多工具、从更多错误中恢复，并在更广泛的上下文中运作。但这并不会自动使整个工作流程更可靠。有时甚至可能让失败模式变得更糟。一个弱的代理会明显失败。一个更强的代理则可能以一种令人信服的方式失败。它能产出一份看似精良的结果，通过狭隘的检查，很好地解释自己，但仍然以难以察觉的方式出错。这正是我认为在许多代理讨论中被忽略的部分。其隐含的假设似乎是：一旦模型足够智能，可靠性问题便会基本消失。我不认为这是必然的。在会计工作中，你不会仅仅因为做账的人聪明就信任其流程。聪明的人仍然需要控制措施。你仍然需要职责分离。你仍然需要核对账目。你仍然保留审计轨迹。你仍然需要审批和异常处理。这并非因为人人恶意，而是因为人人都可能犯错。这就是为什么我一直觉得常见的AI代理论述有些奇怪。我做了20年的会计师，所以也许我的默认视角不同。对我来说，显而易见的问题不是“这个行为者有多聪明？”，而是“这个行为者周围存在哪些控制措施？”代理的能力越强，其周边的控制系统就越重要： - 清晰的职责范围 - 允许操作的文件 - 受保护的文件 - 验收标准 - 不变性条件 - 证据日志 - 默认关闭的检查 - 异常情况的人工审批 这些都不意味着代理毫无用处。而是说代理足够强大，其工作需要有结构化的约束。缺乏控制措施的信任不过是空想。对我来说，问题不仅仅在于“代理能变得多聪明？”，而是： > 什么样的控制系统能让这种能力变得值得信赖？ 是我过度思考了，还是说更强大的代理能力实际上让控制措施变得更重要，而非更不重要？