新型AI智能体架构,解决LLM偏差和Token成本问题
摘要
BotCircuits Agent 是一个开源框架,引入了Workflow-native Agent Loop架构,将确定性状态机导航与有针对性的LLM执行分离,以减少偏差和Token成本。
如果你使用过AI智能体,你就会知道这个问题:你将庞大复杂的流程指令放入系统提示中,LLM最终会感到困惑,偏离计划,或者产生大量的Token费用。我们刚刚发布了新的开源仓库,**BotCircuits Agent**,通过从根本上改变智能体循环的工作方式来解决这个问题。我们实现了一种 **Workflow-native Agent Loop** 架构,将工作负载分离:
* **确定性状态机运行器:** 处理所有流程导航和条件路由,**完全不使用LLM**。它严格按照设计执行逻辑。
* **有针对性的LLM执行:** 流程运行器在特定步骤暂停,并将控制权*严格*交给LLM智能体,以使用连接的Tools、Skills或MCPs执行单个动作。
* **循环:** 一旦工具动作完成,控制权立即交回给确定性运行器,以导航到下一步。
**为什么这很重要:** LLM只了解当前正在执行的动作。由于它不再需要消化和解释冗长的多步骤指令提示,您将获得两大好处:
1. **显著减少偏差(可预测性):** 智能体无法偏离轨道,因为状态机控制着轨道。
2. **显著减少Token使用(更低的成本):** 每一步更小的上下文窗口意味着更低的运行成本。
非常期待您的反馈或回答任何问题!GitHub仓库链接在评论中。
相似文章
研究人员让AI智能体优化LLM推理,Token用量锐减70%
研究人员开发了AutoTTS框架,通过AI智能体自动设计控制策略来优化LLM推理,在保持高推理准确率的同时,将Token消耗降低约70%。
超越LLM:为何可扩展的企业AI落地依赖于Agent逻辑
IBM Research探索了Agent逻辑——诸如知识图谱和程序分析等软件原语——如何引导基于LLM的Agent高效处理复杂的企业工作流,减少幻觉和成本,同时改善结果。
子代理在长代理运行中占据大部分Token成本:实际可将使用量降低70%至90%的修复方法
本文分析了 Bai 等人 2026 年的论文,该论文表明,子代理和上下文膨胀导致长代理运行中的Token成本比普通聊天高出约1000倍,并提出了三种实用的修复方法(PLAN.md、读取预算、带外备注),可将Token使用量减少70-90%。
AI agents 正在改变人们对计算成本的看法
本文讨论了AI代理工作流如何将优化重心从单纯的推理成本转向更广泛的挑战,如延迟、编排开销和可靠性。文章强调了向混合架构和动态模型路由发展的趋势,以应对这些多步骤工作流的复杂性。
你们究竟是如何降低 Agent 系统成本的?
本文探讨了 AI Agent 系统在成本优化和 FinOps 方面面临的挑战,指出了 Token 账单不可预测、缺乏细粒度归因工具等问题,并提到了缓存和硬性限制等应对策略。