我们把正确的代理政策写下来了，但没有任何东西强制执行。

Reddit r/AI_Agents 新闻
ai-agents policy-enforcement ai-safety authorization testing

摘要

文章强调了AI代理政策与实际执行之间的差距，提出规则必须以阻止性检查的形式实施，并通过测试验证以确保合规。

我们在代码库中有一条授权规则。清单问对了问题，部署记录甚至还有审批的位置。尽管如此，一项变更还是在没有审批的情况下推进了，因为生产路径上没有代码需要读取该答案。对于代理来说，情况更糟。人类可能会看到警告并停止。而代理看到成功的工具响应后会继续前进。我们将重复的规则从提示和文档中移出，转移到可以阻止实际过渡的检查中。要启用一项规则，我们通过真实入口点发送一个故意无效的请求，并确认它被拒绝，然后发送一个有效的请求并确认它仍然有效。只有在两种情况都验证通过后，该规则才真正生效；在此之前，它只是文档记录。人们在哪里发现了代理应该遵守但实际未执行的规则？
查看原文

相似文章

代理规则必须存在于操作发生的地方

Reddit r/AI_Agents

本文主张，人工智能代理的安全规则应作为硬性工作流约束和权限来实现，而非仅依赖提示词指令。文章强调对于敏感或不可逆的操作，需要明确的检查、审批和日志记录。

AI治理政策能否真正约束智能代理？

Reddit r/AI_Agents

这篇文章讨论了AI代理中描述性治理和既定治理之间的差距，引用了Paulo Cavallo的论文，并强调了微软、IBM和Lyzr等公司如何开发控制平面能力，以在运行时执行策略。