修复顺序代理循环中的token延迟，且这个“并行工具调用”的修复效果良好。

Reddit r/AI_Agents 2026/07/06 02:27 工具

token-latency agent-loops parallel-tool-calling performance llm-agents

摘要

提出了一种修复顺序代理循环中token延迟的方法，其中并行工具调用可提高LLM代理系统的性能。

暂无内容

查看原文

相似文章

arXiv cs.CL

本文提出了一种方法，将重复的标准操作流程步骤编译为经过验证、有版本管理的工具，在部署前完成，替代推理时的代码生成。在一个配送中心的报警分类系统中，该方法将p50延迟降低了42%，端到端错误率降低了最多53%。

arXiv cs.AI

介绍Parallel-Synthesis框架，该框架能够直接消费来自并行工作代理的KV缓存，将首令牌时间减少2.5倍至11倍，同时在代理任务上保持或提升性能。

arXiv cs.LG

本文提出了一种用于多智能体工具调用的有状态推理架构，该架构在多次调用之间复用KV缓存，并采用推测解码技术，相较于vLLM和SGLang，在智能体工作流上实现了2.1倍至4.2倍的加速。

Reddit r/LocalLLaMA

一位用户报告称，在 Llama-CPP 中使用并行子代理时，解码性能很好，但单个代理的 prefill（例如处理网络搜索）会使所有其他代理停滞不前，并请求调优建议。

Reddit r/artificial

本文分析了 Bai 等人 2026 年的论文，该论文表明，子代理和上下文膨胀导致长代理运行中的Token成本比普通聊天高出约1000倍，并提出了三种实用的修复方法（PLAN.md、读取预算、带外备注），可将Token使用量减少70-90%。