新型AI智能体架构,解决LLM偏差和Token成本问题

Reddit r/AI_Agents 工具

摘要

BotCircuits Agent 是一个开源框架,引入了Workflow-native Agent Loop架构,将确定性状态机导航与有针对性的LLM执行分离,以减少偏差和Token成本。

如果你使用过AI智能体,你就会知道这个问题:你将庞大复杂的流程指令放入系统提示中,LLM最终会感到困惑,偏离计划,或者产生大量的Token费用。我们刚刚发布了新的开源仓库,**BotCircuits Agent**,通过从根本上改变智能体循环的工作方式来解决这个问题。我们实现了一种 **Workflow-native Agent Loop** 架构,将工作负载分离: * **确定性状态机运行器:** 处理所有流程导航和条件路由,**完全不使用LLM**。它严格按照设计执行逻辑。 * **有针对性的LLM执行:** 流程运行器在特定步骤暂停,并将控制权*严格*交给LLM智能体,以使用连接的Tools、Skills或MCPs执行单个动作。 * **循环:** 一旦工具动作完成,控制权立即交回给确定性运行器,以导航到下一步。 **为什么这很重要:** LLM只了解当前正在执行的动作。由于它不再需要消化和解释冗长的多步骤指令提示,您将获得两大好处: 1. **显著减少偏差(可预测性):** 智能体无法偏离轨道,因为状态机控制着轨道。 2. **显著减少Token使用(更低的成本):** 每一步更小的上下文窗口意味着更低的运行成本。 非常期待您的反馈或回答任何问题!GitHub仓库链接在评论中。
查看原文

相似文章

AI agents 正在改变人们对计算成本的看法

Reddit r/AI_Agents

本文讨论了AI代理工作流如何将优化重心从单纯的推理成本转向更广泛的挑战,如延迟、编排开销和可靠性。文章强调了向混合架构和动态模型路由发展的趋势,以应对这些多步骤工作流的复杂性。

你们究竟是如何降低 Agent 系统成本的?

Reddit r/AI_Agents

本文探讨了 AI Agent 系统在成本优化和 FinOps 方面面临的挑战,指出了 Token 账单不可预测、缺乏细粒度归因工具等问题,并提到了缓存和硬性限制等应对策略。