我构建了一个治理层，让AI智能体可以构建自己的工具，但不能越过我设定的红线

Reddit r/AI_Agents 工具
ai-agents governance security prototype guardrails

摘要

作者构建了Arcforge，这是一个治理层，允许AI智能体生成并注册自己的工具（例如，通过OpenAPI创建支付工具），同时在智能体持有API密钥之前就强制执行策略限制（例如，阻止一笔9,999美元的收费）。这是一个早期原型，正在寻求关于护栏的反馈。

我一直看到智能体变得越来越自主——调用API、移动资金——而让我担心的是控制问题。所以我构建了Arcforge来探索这一点。在演示中，智能体没有支付工具，因此它编写了一个OpenAPI规范，自行生成并注册该工具，然后使用它。一笔50美元的收费通过了；一笔9,999美元的收费被我设定的策略阻止，甚至没有到达Stripe。智能体甚至从未持有API密钥。这是一个早期原型。我不是在推销什么——真心想知道这个是否有用，还是我想多了。在让智能体采取真实行动之前，你究竟想要哪些护栏？如果有用的话，我很乐意在评论区分享演示。
查看原文

相似文章

我认为AI代理将需要一个操作层

Reddit r/artificial

作者认为，随着AI代理变得越来越自主，需要一个治理层来实现控制、可观测性和可审计性，并介绍了Bendex Arc作为解决方案，其组件包括Arc Gate、Arc Replay、Arc Approve和Arc Memory。