论文页面 - UndoBench：将工具使用型 AI Agent 的任务能力与恢复能力分离

来源：https://huggingface.co/papers/2610.05622

摘要

工具使用型 AI Agent 正被日益广泛地部署于企业级软件系统中，然而目前广泛使用的基准测试主要评估名义上的任务完成情况，混淆了基础规划能力与运行时故障恢复能力。我们提出 UndoBench，一个涵盖 8 个企业领域中 36 个基础工作流和 36 个故障场景的基准，通过在相同随机种子下进行反事实配对试验，并结合 wire 级效果历史与环境状态 oracle，将任务能力与恢复能力解耦。在冻结的 “lost acknowledgment” 研究中，我们在 12 个 held-out TEST 工作流上、针对两个开源权重模型、两种框架和三种恢复范式（共 5,760 次执行 / 2,880 对配对试验）进行了评估，名义任务能力达到了 83.54%，而条件恢复成功率（CRSR）却降至 46.72%；朴素重试（naive retry）在 53.33% 的试验中产生了重复的外部效果（duplicate effects）。将评估扩展到商用 API 模型后，同样复现了这种能力-恢复分离现象。跨互补执行边界的评估表明，恢复具有阶段性：在 mutation 之前，各方法表现相近，且在有能力的试验中均未产生重复效果；在 partial mutation 期间，朴素重试、per-call idempotency 与零特权日志记录（zero-privilege journaling）在所评估的复合工作流上均告失效；在 commit 之后但 acknowledgment 之前，验证与服务器端幂等性（server-side idempotency）能显著提升安全性。这些发现表明，仅评估名义完成情况会掩盖自主 Agent 中关键的、阶段依赖的恢复漏洞。

查看 arXiv 页面 (https://arxiv.org/abs/2610.05622) 查看 PDF (https://arxiv.org/pdf/2610.05622) GitHub1 (https://github.com/tradertanmay/undobench) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.05622)

在你的 Agent 中获取本文：

hf papers read 2610.05622

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

暂无模型关联本文。

在模型 README.md 中引用 arxiv.org/abs/2610.05622 即可从本页面链接过去。

引用本文的数据集 0

暂无数据集关联本文。

在数据集 README.md 中引用 arxiv.org/abs/2610.05622 即可从本页面链接过去。

引用本文的 Spaces 0

暂无 Space 关联本文。

在 Space README.md 中引用 arxiv.org/abs/2610.05622 即可从本页面链接过去。

包含本文的收藏集 1