新型AI智能体架构,解决LLM偏差和Token成本问题
摘要
BotCircuits Agent 是一个开源框架,引入了Workflow-native Agent Loop架构,将确定性状态机导航与有针对性的LLM执行分离,以减少偏差和Token成本。
如果你使用过AI智能体,你就会知道这个问题:你将庞大复杂的流程指令放入系统提示中,LLM最终会感到困惑,偏离计划,或者产生大量的Token费用。我们刚刚发布了新的开源仓库,**BotCircuits Agent**,通过从根本上改变智能体循环的工作方式来解决这个问题。我们实现了一种 **Workflow-native Agent Loop** 架构,将工作负载分离:
* **确定性状态机运行器:** 处理所有流程导航和条件路由,**完全不使用LLM**。它严格按照设计执行逻辑。
* **有针对性的LLM执行:** 流程运行器在特定步骤暂停,并将控制权*严格*交给LLM智能体,以使用连接的Tools、Skills或MCPs执行单个动作。
* **循环:** 一旦工具动作完成,控制权立即交回给确定性运行器,以导航到下一步。
**为什么这很重要:** LLM只了解当前正在执行的动作。由于它不再需要消化和解释冗长的多步骤指令提示,您将获得两大好处:
1. **显著减少偏差(可预测性):** 智能体无法偏离轨道,因为状态机控制着轨道。
2. **显著减少Token使用(更低的成本):** 每一步更小的上下文窗口意味着更低的运行成本。
非常期待您的反馈或回答任何问题!GitHub仓库链接在评论中。
相似文章
⚡ Botcircuits Argus - 一种智能体技能,在可预测、可追溯且经济高效地运行重复工作流程的同时,减少约80%的Token使用量。
Botcircuits Argus 将重复工作流程预编译为确定性执行流程,通过仅向智能体提供每一步所需的确切上下文,在保持准确性的同时减少约80%的Token使用量。
研究人员让AI智能体优化LLM推理,Token用量锐减70%
研究人员开发了AutoTTS框架,通过AI智能体自动设计控制策略来优化LLM推理,在保持高推理准确率的同时,将Token消耗降低约70%。
超越LLM:为何可扩展的企业AI落地依赖于Agent逻辑
IBM Research探索了Agent逻辑——诸如知识图谱和程序分析等软件原语——如何引导基于LLM的Agent高效处理复杂的企业工作流,减少幻觉和成本,同时改善结果。
我构建了一个开源代理,其推理核心融合了多个LLM(面板、裁判、合成器),而不是路由到单一模型
作者构建了一个开源代理,它使用一组不同的LLM(包括裁判和合成器)来处理困难的推理步骤,同时具备成本感知路由、分层记忆、治理和子代理支持。该软件处于alpha阶段,关于融合效果的基准测试结果不一。
奖励驱动的大语言模型代理工作流:融合POMDP路由与自我修正的自主决策
本文提出了一种奖励驱动的大语言模型代理工作流,融合了POMDP路由与自我修正奖励模型,在ALFWorld和WebShop等基准测试中任务成功率提升了24.5%。