审批疲劳是让智能体在你离开时继续工作的一大难题。Claude Duet 公布的停止规则揭示了什么

Anthropic 本月开放了 Claude Duet 的研究预览版。这款智能体旨在发送晨间简报、在你离开时继续工作，并在采取行动前征求你的同意。发布报道大多只是在罗列功能。对于正在开发或挑选智能体的人来说，Anthropic 安全说明中关于何时停止行动的规则更有参考价值，因为它们回答了大多数产品发布时避而不谈的问题：智能体什么时候会停下来询问你？根据这份说明：- 它会自主阅读、起草和准备工作。在发送消息、付款、签署文件或删除任何内容之前，它会向你展示即将执行的操作，并等待批准。- 有些操作即使获得批准也不允许执行，例如交易证券、在账户之间转移资金，以及访问他人的账户。- 有些步骤不适用“以后别再问我”的规则，无论你批准过多少次：付款或汇款、删除订单、创建账户。在你离开时运行的例行任务也受到同样的安全措施约束。- Anthropic 将审批疲劳称为“一个严重问题，因为过多的请求会让人养成不假思索地点击确认的习惯”，并表示会持续调整征求批准的频率。- Anthropic 描述了一项独立的自动检查机制，它在执行任务的模型之外运行，其设计目的是让隐藏在页面中的指令无法影响检查结果。这是设计目标，并非保证。说明中表示，这些安全措施“偶尔会漏掉某些问题，或将无害消息标记为有问题”。这里补充一条建议，并非 Anthropic 的说法：评估主动型智能体时，应更看重它何时停下来征求批准的规则，而不是功能列表。问清楚它会自行执行哪些操作、哪些操作永远不能提前授权，以及定时运行的任务是否与实时运行的任务经过同样的审批关卡。然后再问它会多频繁地打断你，因为一个过于频繁地征求批准的智能体，会让你养成不假思索地点击确认的习惯。这是 Anthropic 对其研究预览版的自行描述，并非独立测试。我已在个人主页（u/shoumikgoswami）发布了更长的版本，其中还包括断开应用连接后数据会如何处理。哪一种操作，即使你已经批准过一百次，你也绝不希望智能体未经询问就执行？