超越排行榜：大型语言模型代理中工具使用、规划与推理失败的综合分析

arXiv cs.AI 论文
llm-agents tool-use planning reasoning benchmark taxonomy failure-analysis

摘要

本文综合了2023-2026年间27篇基准测试、分类学和审计论文，形成了一个统一的LLM代理局限性分类体系，识别出六大失败集群，包括工具调用错误、规划失败、长期退化、多代理协调问题、安全性问题以及测量有效性问题。

arXiv:2607.05775v1 Announce Type: new 摘要：大型语言模型（LLM）代理越来越被评估其在工具使用、多步骤任务规划、与其他代理协作以及长时间跨度操作方面的能力。报告中的基准测试成绩常常掩盖了在其他看似无关的评估工作中反复出现的失败模式。本文综合了2023-2026年间27篇基准测试、分类学和审计论文，涵盖19个不同的基准测试，形成了一个跨领域的代理局限性分类体系。据我们所知，这是首次将工具使用、规划、长期推理、多代理协调、安全性和测量有效性的证据整合到一个统一的LLM代理局限性分类体系中。我们识别出六大失败集群：（1）工具调用和参数级别错误，（2）规划和约束满足失败，（3）上下文积累导致的长期退化，（4）多代理协调失败，（5）对抗性或未充分指定条件下的安全与安保失败，以及（6）测量有效性问题。该分类体系通过迭代将独立报告的错误类别分组为对应于代理推理到行动流程不同阶段的主题而得出。在文献中，我们发现失败随任务长度非线性累积，单个子任务的强表现并不能可靠地转化为端到端的成功，而且额外的脚手架并不能持续提高可靠性。同时，在单轮工具使用、短时间网络导航和范围狭窄的编码任务中已经取得了显著进展。
查看原文
查看缓存全文

缓存时间: 2026/07/08 04:38 

# 超越排行榜：大型语言模型代理在工具使用、规划与推理中的失败模式综合研究
来源：https://arxiv.org/abs/2607.05775
查看 PDF (https://arxiv.org/pdf/2607.05775)

> 摘要：大型语言模型（LLM）代理在当前评估中越来越多地面临工具使用、多步骤任务规划、多代理协同以及长时间跨度操作等挑战。报告中的基准性能提升往往掩盖了那些在其他看似无关的评估工作中反复出现的失败模式。本文综合了 2023 至 2026 年间 27 篇涉及基准、分类法和审计的论文（涵盖 19 个不同基准），提出了一种跨领域的代理局限性分类体系。据我们所知，这是首次将来自工具使用、规划、长程推理、多代理协同、安全以及测量有效性等方面的证据整合为统一分类体系的研究。我们识别出六类失败模式：（1）工具调用及参数级别的错误；（2）规划与约束满足的失败；（3）由上下文积累导致的长时间跨度性能退化；（4）多代理协同失败；（5）在对抗性或欠规范条件下的安全与安保失败；（6）测量有效性问题。该分类体系是通过迭代方式将独立报告的错误类别归纳为与代理推理到动作管线的不同阶段相对应的主题而形成的。综述文献后我们发现：失败随任务长度呈非线性复合效应；子任务上的强性能并不能可靠地转化为端到端的成功；额外的脚手架方法并不能持续提升可靠性。与此同时，在单轮工具使用、短时间跨度网页导航以及范围狭窄的编程任务上已展现出实质性进展。

## 提交历史

来自：Wael Albayaydh \[查看电子邮件 (https://arxiv.org/show-email/08b90aa9/2607.05775)\] **\[v1\]**2026年7月7日星期二 03:05:13 UTC（175 KB）

相似文章

AgentCollabBench：诊断优秀智能体为何成为糟糕的协作者

arXiv cs.CL

本文介绍了 AgentCollabBench，这是一个针对多智能体系统的诊断性基准，用于评估四大主流大语言模型（LLM）中的指令衰减和上下文泄漏等行为风险。文章认为，通信拓扑结构是多智能体可靠性的关键因素，其重要性往往超越了模型的原始能力。