模型规划出一个由代理组成的可执行 DAG，在实际运行前必须有人决定信任程度。

Reddit r/AI_Agents 新闻
ai-agents trust-boundaries dag-planning human-in-the-loop agent-execution llm-planning safety-validation

摘要

本文讨论了 AI 代理系统中的信任边界，其中 LLM 规划一个代理的可执行 DAG，强调了验证计划和通过人类批准及每个代理权限确保安全性方面的挑战。

构建 Hospilot 时，我不断回到一个信任边界问题。当目标传入，LLM 规划哪些代理运行以及以什么顺序——它生成一个即将实际执行的图结构，而不是人类阅读和判断的文本。这与大多数 LLM 用例不同。聊天机器人中的错误答案会被读取并捕捉到。执行图中的错误边意味着一个可能不该运行的代理在运行，无论模型决定了什么顺序。有帮助的是：每个代理都有一个声明的清单，说明它允许接触什么，因此即使规划器将其放在奇怪的地方，它也不能在自身范围外行动。任何改变真实状态的操作默认都需要人类批准。此外，在运行前对生成的计划进行验证仍然感觉未完全解决——这捕获了“这是否是合法/合理的图”，而不是“这是否是正确的图”。我认为除了人类最终注意到之外，没有什么能捕获到这一点，这在某种程度上违背了自动化的意义。其他人如何划定这条线——是验证生成的计划本身，还是依赖每个代理权限来控制影响范围，或者只是希望规划器足够好并在其不佳时处理问题？
查看原文

相似文章

谁授予了你的AI代理权限？

Reddit r/AI_Agents

讨论AI代理工作流中的安全漏洞，即代理在关键步骤中假设存在人类监督，并提出了一个运行时控制平面，用于强制执行权限，并在破坏性操作前要求人工批准，通过Tandem演示进行了说明。