构建了一个 Python 智能体框架,由决策模型而非大语言模型来选择行动——希望获得反馈

Reddit r/AI_Agents 工具

摘要

作者介绍了 DecisionLoop,一个用小型决策模型替代 LLM 处理意图识别、工具选择与控制流的 Python 智能体框架,初步测试在工具调用准确率、成本和延迟上优于基于 LangChain 的 LLM 智能体,并寻求架构反馈与基准测试建议。

我一直在开发 DecisionLoop,这是一个用于构建智能体的 Python 框架,其中由一个小型决策模型负责意图识别、工具选择、参数和控制流程,而不是每次决策都使用大语言模型。我在三个用例上测试了它:订单客服、航班服务台和银行服务台。早期测试表明,与使用 12B 模型的 LangChain 大语言模型智能体相比,它的工具调用准确率更高,成本和延迟更低,不过在使用更小模型时,结果有所不同。这些只是初步结果,还算不上正式的基准测试。我很希望获得关于架构、实际应用场景、可用于测试的复杂对话,以及如何与更强的大语言模型进行公平基准比较的反馈。我也有兴趣在 DecisionLoop 之上构建多智能体架构,由一个路由器将请求分派给专门的智能体。
查看原文

相似文章

@realfxw: 做 Agent 工作流或自主智能体循环时,一个极度影响体验的瓶颈在于:每一个细小的分支判断、工具路由、任务完成度检查或安全拦截,如果全部塞给昂贵的推理大模型(Reasoning LLM),不仅每次调用带来数秒的延迟,Token 成本也会呈…

X AI KOLs Timeline

这篇文章介绍了开源清单awesome-jev-projects,它通过解耦System 1快速决策模型和System 2推理大模型来优化AI代理工作流,降低延迟和成本,并提供代码级参考。