智能体把停止视为失败。这就是问题所在。

Reddit r/AI_Agents 新闻
ai-agents safety agent-permissions tool-use stop-conditions design-opinion

摘要

作者指出，AI 智能体的一个核心设计问题是：智能体因完成任务而获得奖励，导致其遇到阻碍时会自行寻找绕过方案（例如，在预订已满时取消旧预订再重新预订）。文章主张，默认应采用白名单式许可，并将「停止」视为正常、可记录、可交还用户处理的合法结果，而非失败。

大多数智能体遵循的是“只要没有禁止，就去做”。我会反过来：只有用户明确提出或批准的操作才应该执行。仅仅有权使用某个工具，本身还不够。问题在于，智能体会因完成任务而获得奖励，所以遇到阻碍时，它们就会想办法绕过去。预约满了？那就取消你原来的预约，再重新预订。停止执行应该是一种正常结果，记录原因后交回给用户，而不是被视为失败。
查看原文

相似文章

你的 AI 安全护栏阻止了该操作。但政策真的明确禁止了吗？

Reddit r/AI_Agents

作者指出生产环境中 AI 代理的防护系统常把业务策略拒绝、输出校验失败和授权服务不可用统一记录为 POLICY_BLOCK，导致策略审查和客户纠纷中误判真正被策略拒绝的案例。文章强调停止执行是合理的，但审计记录必须区分拒绝原因。