ParaRecover: 一个过程级基准测试，用于并行工具使用代理中的错误定位与恢复
摘要
ParaRecover引入了一个过程级基准测试，用于评估多轮并行工具使用代理中的错误定位与恢复，具有细粒度的错误分类法和一个SDE rubric以进行详细评估。
arXiv:2609.12345v1 Announce Type: new
摘要：现有的代理基准测试主要评估最终任务成功或工具调用正确性，对代理是否能够可靠地诊断和恢复中间执行失败提供有限洞察。这一限制在多轮并行工具使用场景中变得尤为关键，因为错误可能在依赖分支间传播并引发级联故障。我们引入了ParaRecover，这是一个过程级基准测试，用于评估多轮并行工具使用代理中的错误定位与恢复。该基准测试基于细粒度的14种错误类型分类法，涵盖规划依赖、工具选择和参数匹配，包含10,626个实例，跨越两个难度级别。为了实现细粒度、过程导向的评估，我们进一步提出了SDE rubric，该标准在代理执行期间测量结构完整性、诊断推理和进化策略。在超过十个主流LLM上进行的实验表明，即使是最先进的模型仍然在多轮错误传播、隐式工具使用失败和精确重规划方面存在困难。此外，我们证明SDE rubric为提高代理的反思性恢复能力提供了有效的监督信号。我们的数据和代码可在 https://github.com/gbw206/ParaRecover 获取。
查看缓存全文
缓存时间: 2026/09/14 08:41
# ParaRecover：面向平行工具使用智能体错误定位与恢复的过程级基准测试 来源：https://arxiv.org/html/2609.12345 Bowen Guan 单位：大连理工大学计算机科学与技术学院，中国 邮箱：[[email protected]](mailto:) Zhentao Yin 单位：大连理工大学计算机科学与技术学院，中国 邮箱：[[email protected]](mailto:) Yanming Shen¹ 单位：大连理工大学计算机科学与技术学院，中国 邮箱：[[email protected]](mailto:) ###### 摘要 现有的智能体基准测试主要评估最终任务成功率或工具调用正确性，对于智能体能否可靠地诊断和恢复中间执行失败提供的洞察有限。这一局限性在多轮平行工具使用场景中尤为关键，因为错误可能在依赖分支间传播并引发级联失败。我们提出ParaRecover——一个用于评估多轮平行工具使用智能体错误定位与恢复的过程级基准测试。该基准基于涵盖规划依赖、工具选择和参数匹配三方面共14种错误类型的细粒度分类体系构建，包含10,626个实例，涵盖两个难度等级。为实现细粒度、过程导向的评估，我们进一步提出SDE评估标准，从结构完整性、诊断推理和进化策略三个维度衡量智能体执行过程中的行为。针对十余种主流大语言模型的实验表明，即使是最先进的模型在处理多轮错误传播、隐式工具使用失败和精确重规划方面仍存在困难。此外，我们证明SDE标准能为提升智能体反思恢复能力提供有效的监督信号。 我们的数据和代码已开源：https://github.com/gbw206/ParaRecover ## 1 引言 基准测试结构化轨迹评估并行调用错误状态评估反思性定位重规划决策过程级指标API-Bank✗✗✓✗✗△\\triangleTool-Bench✗✗△\\triangle✗✗△\\triangleBFCL✗✓✗✗✗△\\triangleToolSandbox✓✓✗✗✗✓TRAJECT-Bench✓✓✗✗✗✓ParaRecover✓✓✓✓✓✓ 表1：现有智能体基准与ParaRecover在评估维度上的对比。✓表示完全支持，✗表示不支持，△\\triangledone表示间接支持。 大语言模型智能体越来越多地通过规划、工具使用和与外部环境交互来解决复杂任务（Yao et al., 2022 (https://arxiv.org/html/2609.12345#bib.bib14)；Qin et al., 2023 (https://arxiv.org/html/2609.12345#bib.bib7)；Huang et al., 2024 (https://arxiv.org/html/2609.12345#bib.bib11)）。在科研、代码生成和数据分析等现实场景中（Ma et al., 2024 (https://arxiv.org/html/2609.12345#bib.bib12)；Yang et al., 2024 (https://arxiv.org/html/2609.12345#bib.bib37)；Hu et al., 2024 (https://arxiv.org/html/2609.12345#bib.bib13)），任务通常不是简单的顺序过程，而是多轮并行过程，涉及多个并行子目标、分支工具调用和跨步骤依赖（Huang et al., 2024 (https://arxiv.org/html/2609.12345#bib.bib11)；Wang et al., 2024 (https://arxiv.org/html/2609.12345#bib.bib19)）。因此，系统性评估智能体在多轮并行工具使用场景中的规划、决策和错误恢复能力已成为一个重要问题。 现有的智能体和工具使用基准测试主要关注最终任务结果，如答案正确性和整体任务完成率（Mialon et al., 2024 (https://arxiv.org/html/2609.12345#bib.bib15)；Yao et al., 2024 (https://arxiv.org/html/2609.12345#bib.bib16)；Liu et al., 2025 (https://arxiv.org/html/2609.12345#bib.bib17)）。然而，任务成功完成并不一定意味着智能体行为可靠。智能体可能仍然通过冗余调用、反复试错或错误的恢复策略来完成任务，导致实际系统中的高成本。这些端到端指标对于衡量最终性能很有用，但它们对于智能体能否正确定位故障、诊断原因以及从损坏的中间状态中恢复所提供的洞察有限。如表1所示（https://arxiv.org/html/2609.12345#S1.T1），尽管一些近期研究考虑了过程级行为，但它们通常只关注工具调用成功率，或者仅对中间决策或格式提供粗粒度或间接判断（Li et al., 2023 (https://arxiv.org/html/2609.12345#bib.bib6)；Qin et al., 2023 (https://arxiv.org/html/2609.12345#bib.bib7)；Patil et al., 2025 (https://arxiv.org/html/2609.12345#bib.bib8)；He et al., 2025 (https://arxiv.org/html/2609.12345#bib.bib31)；Lu et al., 2025 (https://arxiv.org/html/2609.12345#bib.bib45)）。因此，它们可能无法捕捉多轮并行执行所需的细粒度行为，例如决定并发子任务、识别跨步骤依赖、评估故障对下游分支的影响以及错误后的重规划。现有的评估范式很少以系统的方式刻画这些恢复挑战，因此难以理解智能体失败的方式和原因。 然而，在实际应用中，稳健的错误诊断、反思和重规划能力对于可靠的长期智能体执行至关重要。基于这些局限性，我们基于现实世界多轮并行场景中的智能体执行轨迹构建了细粒度的错误分类体系，涵盖规划依赖、工具选择和参数匹配三个方面的14种错误类型。在此分类体系的基础上，我们开发了ParaRecover，一个为复杂的多轮并行智能体执行场景设计的基准测试。ParaRecover涵盖两个难度等级：LEVEL-1仅包含最近一次执行中引入的错误，而LEVEL-2涉及多轮传播和多种错误类型，全面评估智能体的错误定位和重规划能力。为进一步细化评估，我们提出了SDE评估标准，从结构完整性、诊断推理和进化策略三个维度衡量智能体行为。 我们的主要贡献如下： - • 我们提出了一个面向多轮平行工具使用的过程级基准测试，包含两个难度等级共10,626个实例，显式评估智能体的中间决策、错误定位和纠正性重规划。 - • 我们开发并验证了一个面向并行智能体执行的细粒度错误分类体系。基于来自多个模型的实际执行轨迹，我们进一步刻画了这些错误在实践中如何出现和分布。 - • 我们提出了SDE评估标准，从结构完整性、诊断推理和进化策略三个方面评估智能体，实现对错误后反思、回溯和决策能力的细粒度评估。 - • 我们揭示了当前智能体在最终任务成功与过程可靠性之间存在巨大差距。尽管最先进的模型通常能实现高任务完成率，但在依赖推理、隐式故障定位和多轮错误传播下的高效恢复方面仍表现出严重弱点。 参照图表 图1：ParaRecover基准概述 | 家族 | 模型名称 | LEVEL-1 | | | LEVEL-2 | | | |------|---------|---------|--|--|---------|--|--| | | | S | D | R | E | S | D | R | E | Avg. Pass@1 | | | | OpenAI | GPT-4o | 56.08 | 59.10 | 39.16 | 51.45 | 92.21 | 47.90 | 53.73 | 32.59 | 44.74 | 91.50 | | | | GPT-4o mini | 49.91 | 46.20 | 29.83 | 41.98 | 89.32 | 44.85 | 40.41 | 25.45 | 36.90 | 88.84 | | | | GPT-5 nano | 43.88 | 55.31 | 25.07 | 41.42 | 89.50 | 40.53 | 51.61 | 22.56 | 38.23 | 88.92 | | | | GPT-5.2 | 57.51 | 81.81 | 41.21 | 60.24 | 92.61 | 55.24 | 80.75 | 41.61 | 59.20 | 91.84 | | | Anthropic | Claude Sonnet 4.6 | 69.12 | 74.36 | 50.27 | 64.58 | 94.10 | 65.84 | 71.22 | 48.63 | 61.90 | 93.50 | | | | Claude Opus 4.6 | 73.56 | 78.94 | 55.18 | 69.23 | 94.78 | 70.38 | 76.41 | 53.76 | 66.85 | 94.05 | | | Google | Gemini 3.1 flash | 68.35 | 65.87 | 47.19 | 60.47 | 93.82 | 63.50 | 61.13 | 45.04 | 56.56 | 93.25 | | | | Gemini 3.1 pro | 66.90 | 61.72 | 48.23 | 58.95 | 93.68 | 63.22 | 62.08 | 47.18 | 57.49 | 93.22 | | | Qwen | Qwen 3 8B | 47.61 | 57.08 | 25.72 | 43.47 | 91.84 | 45.41 | 51.12 | 26.69 | 41.07 | 91.37 | | | | Qwen 3 32B | 52.26 | 56.94 | 31.17 | 46.80 | 92.08 | 50.42 | 54.55 | 31.94 | 45.64 | 91.86 | | | | Qwen 3.5 9B | 56.58 | 72.78 | 38.35 | 55.90 | 92.21 | 53.12 | 68.65 | 37.27 | 52.98 | 92.14 | | | | Qwen 3.5 122B-A10B | 72.48 | 77.87 | 52.28 | 67.54 | 94.50 | 69.12 | 74.77 | 51.34 | 65.08 | 93.04 | | | ZHIPU | GLM 4.5 Air | 62.46 | 61.03 | 42.62 | 55.37 | 93.50 | 58.43 | 59.33 | 41.67 | 53.14 | 92.72 | | | | GLM 4.6 | 66.20 | 55.91 | 47.80 | 56.64 | 93.81 | 63.42 | 52.68 | 48.47 | 54.86 | 93.06 | | | DeepSeek | DeepSeek-V4-flash | 73.74 | 75.80 | 54.57 | 68.04 | 94.13 | 71.04 | 73.82 | 54.23 | 66.36 | 93.17 | | | | DeepSeek-V4-flash* | 74.23 | 74.53 | 56.49 | 68.42 | 94.67 | 71.50 | 72.90 | 55.30 | 66.57 | 93.86 | | | | DeepSeek-V4-pro | 74.30 | 72.35 | 58.21 | 68.29 | 94.13 | 71.47 | 71.10 | 57.03 | 66.50 | 93.01 | | 表2：不同模型在LEVEL-1和LEVEL-2任务上的性能 ## 2 问题定义 我们考虑现实世界的任务，这些任务包含大量条件独立、因而可以并行执行的子任务。尽管并行执行可以显著提高效率，但也对智能体的规划和决策能力提出了更高的要求。为了捕捉这种更现实且更具挑战性的场景，我们将智能体执行过程形式化为**多轮并行决策过程**。 为了形式化并行性，我们将执行过程表示为有向无环图G=(V,E)，其中每个节点v_i∈V表示一个子任务或工具使用操作，每条边(v_i, v_j)∈E表示v_j依赖于v_i的完成。在此形式化下，节点v_j的依赖集合可表示为Dep(v_j)={v_i∈V|(v_i,v_j)∈E}。(1) 节点v_j仅当所有依赖项都满足时才可执行，即 ∀v_i∈Dep(v_j), s(v_i)=1，(2) 其中s(v_i)∈{0,1}表示节点v_i的状态，指示其是否已完成。因此，工具调用严格按照有向无环图的拓扑结构逐层执行。从根节点出发，图自然划分为层次：直接依赖根节点的节点构成第一层，依赖第一层的节点构成第二层，依此类推。由于任何一轮所能达到的拓扑深度是非确定的，智能体必须动态推断执行状态。 在每一步交互t，智能体接收上一轮的部分执行图G^(t-1)以及最近调用工具的执行观察O^t。智能体的一项关键能力是推断当前轮的可执行边界。该边界记为F^t，包含所有前提依赖项已严格满足的待处理节点。模型在步骤t的核心目标是多方面的：它必须批判性地分析前一轮图G^(t-1)的结构正确性，识别F^t中的目标节点，并评估观察O^t以诊断哪些工具调用成功或失败。 为了形式化这一诊断反思和决策过程，我们约束智能体遵循思维链推理范式。具体而言，智能体A_θ被提示生成文本反思τ^t（思维）以及更新后的图G^t，定义为映射： (τ^t, G^t) = A_θ(G^(t-1), O^t)。(3) 整体问题定义如图1中间部分所示（https://arxiv.org/html/2609.12345#S1.F1）。 ### 2.1 ParaRecover 如图1所示（https://arxiv.org/html/2609.12345#S1.F1），ParaRecover是一个通过有向无环图评估平行工具使用智能体错误定位与恢复的过程级基准测试。 #### 2.1.1 任务来源 我们初始任务来源于BUTTON（Chen et al., 2024a (https://arxiv.org/html/2609.12345#bib.bib1)），该工作通过在不同原子任务间引入依赖关系来构建复杂轨迹。这种组合结构与有向无环图规划中固有的边和子任务节点存在天然对应关系。关于工具执行环境，我们遵循Chen et al. (2024a) (https://arxiv.org/html/2609.12345#bib.bib1)并采用基于工具智能体的模拟范式。由于我们的主要目标是评估模型在各种中间错误状态下的反思和决策能力，而非评估外部API的稳定性，因此这种受控模拟环境是理想的执行后端。 #### 2.1.2 错误分类体系 一个核心挑战是确定需要恢复哪些类型的错误。先前的工作已识别出几种常见故障模式（Zhuang et al., 2023 (https://arxiv.org/html/2609.12345#bib.bib21)；Chen et al., 2025 (https://arxiv.org/html/2609.12345#bib.bib20)），例如不正确的工具名称、无效参数和不可执行的调用。然而，这些错误类型主要捕获函数调用级别的局部错误，未能充分描述在多轮并行执行中出现的失败。 在基于有向无环图的智能体工作流中，模型还必须维护有效的依赖结构、识别哪些节点可以并行执行，并在部分完成后更新全局计划。因此，除了继承的工具级错误外，我们从大规模执行轨迹中提取了额外的错误类别，包括并行化错误、依赖错误等。最终，我们构建了一个由三个维度和14种具体错误类型组成的细粒度错误分类体系。具体的错误类型及其描述见附录C（https://arxiv.org/html/2609.12345#A3）。 我们在附录D（https://arxiv.org/html/2609.12345#A4）中进一步报告了这些错误在不同参数规模模型上的经验分布，表明它们不是人为标注，而是现实智能体执行中自然发生的失败模式。然后，我们使用这个统一的错误分类体系作为后续轨迹扰动和错误感知数据增强的基础。 | 错误类型 | | LEVEL-1 | | | LEVEL-2 | | | |----------|--|---------|--|--|---------|--|--| | 结构相关错误 | 依赖_错误 | 34.89 | 46.89 | 25.22 | 33.71↓3.4% | 33.71↓3.4% | 43.80↓6.6% | 43.80↓6.6% | 24.85↓1.5% | 24.85↓1.5% | | | 依赖_空缺 | 39.34 | 48.15 | 22.20 | 34.61↓12.0% | 34.61↓12.0% | 44.07↓8.5% | 44.07↓8.5% | 23.05↑3.8% | 23.05↑3.8% | | | 并行_错误 | 34.19 | 54.26 | 29.79 | 32.53↓4.9% | 32.53↓4.9% | 47.48↓12.5% | 47.48↓12.5% | 26.83↓9.9% | 26.83↓9.9% | | | 串行_错误 | 41.26 | 49.78 | 26.24 | 33.99↓17.6% | 33.99↓17.6% | 48.09↓3.4% | 48.09↓3.4% | 26.26↑0.01% | 26.26↑0.01% | | 参数相关错误 | 参数_错误 | 57.35 | 51.95 | 32.80 | 48.82↓14.9% | 48.82↓14.9% | 44.88↓13.6% | 44.88↓13.6% | 27.05↓17.5% | 27.05↓17.5% | | | 参数_无效 | 49.63 | 49.21 | 29.07 | 41.69↓16.1% | 41.69↓16.1% | 40.44↓17.8% | 40.44↓17.8% | 24.75↓15.5% | 24.75↓15.5% |
相似文章
# UndoBench：将任务胜任力与恢复能力区分开来的工具使用型 AI 智能体
UndoBench 引入了一个基准测试，将工具使用 AI 智能体的任务胜任力与故障恢复能力解耦，覆盖 8 个企业领域的 36 个工作流和 36 种故障场景。研究发现，83.54% 的名义任务完成率掩盖了仅 46.72% 的条件恢复成功率，而盲目重试在 53.33% 的试验中产生了重复副作用。
迷失于恢复：通过目标导向的动作重放揭示计算机操作智能体的恢复行为
ReTrace 是一个可扩展的评估框架，用于系统研究计算机使用智能体的恢复行为，通过在受控错误注入后进行目标导向的动作重放，对转移一致性恢复进行形式化定义。研究发现，理想的恢复能够释放潜在的任务完成能力，当前智能体未能充分发挥其恢复潜力，而准确的基于模型的恢复能够带来可量化的端到端性能提升。
当工具失灵：LLM智能体动态重新规划与异常恢复的基准测试
ToolMaze基准测试评估了LLM智能体处理真实世界工具故障的能力，揭示了隐式语义故障导致的性能下降最为显著，而动态重新规划仍是模型扩展或提示工程无法解决的关键瓶颈。
结果监控器：静默工具故障的恢复能力
本文介绍了结果监控器，这是一种确定性检测器，用于识别语言代理工具调用中的静默故障并提供恢复收据，显著提高了ToolMaze和τ-bench等基准测试中的任务完成率。
Diagnosis Before Recovery: Turning Agent Failures into Selective Self-Correction
This paper introduces DARC, a diagnosis-guided recovery harness that makes agent self-correction selective by profiling failure modes and pruning mismatched interventions before test-time correction, improving performance on ALFWorld, AppWorld, and XBRL Finance.