AI代理的消费权限应该置于何处?
摘要
本文探讨AI代理是否应具有内部或外部消费权限,倡导通过网关等工具执行外部策略,以管理多个代理的预算。
我一直在思考,代理预算与其说是FinOps功能,不如说是一个授权问题。代理可以决定:‘我需要另一次模型调用。’有趣的问题是:谁有权说是否允许再花费2美元?在代理运行时内部设置令牌限制或最大迭代次数有助于约束执行。但这仍然是代理自我调节。我宁愿让运行时请求资源,并由代理外部的东西来执行消费策略。
代理 ↓ "我想要另一次模型调用" ↓ 策略/网关 ├─ 身份 ├─ 剩余预算 ├─ 速率限制 └─ 模型策略 ↓ 允许/拒绝
当多个代理、版本或团队共享相同的模型提供商时,这种区分变得更加有用。你真的不想让每个代理实现都发明自己的‘我可以花费最多X美元’的概念。这就是我发现Lyzr Open Controller的方法有趣的原因之一。它的LLM网关将预算设置在组织、团队、代理、版本和虚拟密钥级别,重要的是,耗尽的预算会拒绝调用,而不仅仅是生成警报。LiteLLM、Portkey和OpenRouter也解决了很多网关/代理问题,所以我很好奇人们在自己的技术栈中如何划分这个边界。消费应该是代理本身的属性,还是代理必须通过的外部授权决策?特别感兴趣的是,当多个代理共享提供商或模型路由在底层发生变化时,如何处理这个问题。
相似文章
有没有人也觉得AI代理需要一个支出控制层?
一位开发者讨论了AI代理需要支出控制层来管理预算、审批和审计日志,并向社区征求关于自托管与托管解决方案的意见。
你会给AI代理200美元的消费限额吗?
探讨了给AI代理一个小额、受限制的预算(例如200美元)用于常规业务支出(如软件试用)的想法,并将其比作给初级员工一张有限额的公司卡。
如果你的AI代理能花钱,最先出问题的到底是什么?
讨论AI代理能够花钱时遇到的实际问题,例如重试导致的双重支付和已过期的防护措施,寻求实际经验分享。
如果一个AI代理可以调用20个工具,那么授权应该实际放在哪里?
探讨了当一个AI代理可以调用多个工具时,应该在何处实施授权的问题,讨论了安全访问控制的架构考虑。
当AI代理跨越多个系统时,谁真正拥有权限?
本文讨论了跨越多个系统的AI代理工作流中权限和治理的挑战,质疑权限和策略如何在交易链中交互。