构建了一个 Python 智能体框架,由决策模型而非大语言模型来选择行动——希望获得反馈
摘要
作者介绍了 DecisionLoop,一个用小型决策模型替代 LLM 处理意图识别、工具选择与控制流的 Python 智能体框架,初步测试在工具调用准确率、成本和延迟上优于基于 LangChain 的 LLM 智能体,并寻求架构反馈与基准测试建议。
我一直在开发 DecisionLoop,这是一个用于构建智能体的 Python 框架,其中由一个小型决策模型负责意图识别、工具选择、参数和控制流程,而不是每次决策都使用大语言模型。我在三个用例上测试了它:订单客服、航班服务台和银行服务台。早期测试表明,与使用 12B 模型的 LangChain 大语言模型智能体相比,它的工具调用准确率更高,成本和延迟更低,不过在使用更小模型时,结果有所不同。这些只是初步结果,还算不上正式的基准测试。我很希望获得关于架构、实际应用场景、可用于测试的复杂对话,以及如何与更强的大语言模型进行公平基准比较的反馈。我也有兴趣在 DecisionLoop 之上构建多智能体架构,由一个路由器将请求分派给专门的智能体。
相似文章
DecisionAct:使用决策模型而非 LLM 生成回复的开源 Python 智能体框架
DecisionAct 是一个开源 Python 智能体框架,使用决策模型而非 LLM 生成回复,通过预定义意图、工具和结果来执行自然语言请求,支持多工具调用、会话记忆、检查点和人工审批等功能。
构建了一个 LLM 在结构上被禁止生成最终输出的 Agent,寻求反馈以及愿意尝试“攻破”它的人
作者描述了一个基于 LangGraph 构建的 AI Agent,旨在复现生产环境中的 Python 崩溃问题。其独特之处在于架构设计:LLM 负责规划行动,而确定性 Python 函数则生成最终测试代码,以确保可靠性。
JevAgentHarness:对与大语言模型共享控制权的决策模型进行基准测试、部署与训练
JevAgentHarness 论文提出将智能体的工具选择委托给小型决策模型,通过拟合置信度阈值,在降低成本和延迟的同时保持任务成功率,并发布了 AgentDecisionBench 基准和 AgentDecision-4B 开源模型。
构建了一个代理循环,其中LLM编写Python代码以生成可动3D CAD模型。您可以固定一个部件进行编辑。
构建了一个代理循环,其中LLM编写Python代码以生成可动3D CAD模型,并可固定一个部件进行编辑。
@realfxw: 做 Agent 工作流或自主智能体循环时,一个极度影响体验的瓶颈在于:每一个细小的分支判断、工具路由、任务完成度检查或安全拦截,如果全部塞给昂贵的推理大模型(Reasoning LLM),不仅每次调用带来数秒的延迟,Token 成本也会呈…
这篇文章介绍了开源清单awesome-jev-projects,它通过解耦System 1快速决策模型和System 2推理大模型来优化AI代理工作流,降低延迟和成本,并提供代码级参考。