代理人的行动应由谁控制？

Reddit r/AI_Agents 新闻
ai-agents authorization irreversible-actions cloudflare-agents agaemon security

摘要

本文讨论了控制AI代理执行不可逆操作的授权层的需求，介绍了Agaemon作为一种解决方案，允许代理决定行动，同时确保它们在明确权限和策略内运行。

AI代理变得越来越强大。它们能够记忆状态、使用工具、调用API、执行工作流并自主运行。Cloudflare代理平台是这一趋势的一个好例子。我认为还有一个重要的层面被忽视了：当代理想要执行不可逆操作时会发生什么？代理本身是否有权执行该交易？或者是否应该有一个单独的授权层来检查：此操作是否被允许？此合约/地址是否被允许？此操作是否符合代理的预期范围？执行后应记录哪些证据？这就是我们与Agaemon一直在解决的问题。想法很简单：代理可以决定它想做什么。Agaemon决定它是否被允许执行。执行账户保留在代理之外。目标不是阻止代理自主运行。而是让自主运行在明确的权限、策略和条件下进行。我们特别感兴趣的是其他构建者目前如何解决这个问题。如果你正在构建能够与钱包、DeFi、支付、API或其他不可逆系统交互的AI代理：你的代理和执行之间有什么？我想听听你们所有人的想法。
查看原文

相似文章

AI代理应被允许自行决定哪些权限？

Reddit r/AI_Agents

本文讨论了AI代理不应自行授权行动的原则，并探讨了在允许模型独立决策时如何划定界限，强调了审批系统和策略等外部控制手段。

谁授予了你的AI代理权限？

Reddit r/AI_Agents

讨论AI代理工作流中的安全漏洞，即代理在关键步骤中假设存在人类监督，并提出了一个运行时控制平面，用于强制执行权限，并在破坏性操作前要求人工批准，通过Tandem演示进行了说明。