论文页面 - LongRCA Bench：长周期智能体故障中的责任角色与根本原因诊断

来源：https://huggingface.co/papers/2608.15242 作者：

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

摘要

LongRCA Bench 评估了在长智能体执行轨迹中的故障诊断能力，其无需训练的 RCTA 方法显著提升了对责任角色与根本原因步骤的归因准确性。

当长周期智能体执行出现失败时，结果层面的评估仅能揭示失败结果，却无法定位决定性错误在轨迹中的切入点。开发者必须随后检查完整的执行过程，以识别责任角色（https://huggingface.co/papers?q=responsible%20role）并定位最早的决定性根本原因步骤（https://huggingface.co/papers?q=root-cause%20step）。现有的故障归因（https://huggingface.co/papers?q=failure-attribution）基准测试主要关注较短的轨迹，使得对数百个记录步骤的诊断能力尚待探索。我们推出了 LongRCA Bench（https://huggingface.co/papers?q=LongRCA%20Bench），包含来自五个领域的 1,140 条未注入错误的失败轨迹。它为责任角色（https://huggingface.co/papers?q=responsible%20role）和最早的决定性根本原因步骤（https://huggingface.co/papers?q=root-cause%20step）提供了经独立评分的人工标签。轨迹中位步数为 145 步，而最强基线方法的精确根本原因步骤准确率仅为 13.2%。我们进一步提出了根本原因轨迹归因（https://huggingface.co/papers?q=Root-Cause%20Trajectory%20Attribution）（RCTA（https://huggingface.co/papers?q=RCTA）），这是一种无需训练的方法，它从分段摘要（https://huggingface.co/papers?q=segment%20summaries）中检索候选错误步骤，并将其追溯至可用的早期交接指令（https://huggingface.co/papers?q=handoff%20instructions）。使用相同的核心模型、基准实例和评分协议，RCTA（https://huggingface.co/papers?q=RCTA）达到了 51.1% 的责任角色准确率和 24.1% 的精确根本步骤准确率。这些结果凸显了在长轨迹故障诊断中，将责任角色归因与精确根本步骤定位作为独立评估目标的必要性。

查看 arXiv 页面 (https://arxiv.org/abs/2608.15242) 查看 PDF (https://arxiv.org/pdf/2608.15242) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.15242)

在您的智能体中获取此论文：

hf papers read 2608\.15242

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型

0

尚无模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.15242，即可从此页面链接至该模型。

引用本文的数据集

1

CLoud5-real/longrca-bench 查看器• 更新于 1 天前 • 1.14k • 55 • 2 (https://huggingface.co/datasets/CLoud5-real/longrca-bench)

引用本文的 Spaces

0

尚无 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2608.15242，即可从此页面链接至该 Space。

包含本文的集合

0

尚无包含此论文的集合

将本文添加到收藏夹 (https://huggingface.co/new-collection) 即可从此页面链接至该收藏夹。