智能体能学会预测自身的失败吗？基于最终结果的 LLM 智能体置信度校准

Hugging Face Daily Papers 论文
llm-agents confidence-calibration reinforcement-learning grpo self-supervision alfworld

摘要

该论文提出一种在多步 LLM 智能体任务中，利用最终结果（而非单步正确性）来校准智能体自报置信度的强化学习方法。在 ALFWorld、TextWorld 和 WebShop 环境中，步级置信度对最终结果的 AUROC 从接近随机提升至 0.68–0.85，校准误差显著下降，且不损害任务成功率。

控制一个行动中的 LLM 智能体，意味着在长时程任务的每一步都要决定：是否信任它的下一个动作、选择弃权，还是交接给人类。这一决策需要一个逐步的置信信号，用来预测当前的执行轨迹最终是否能够成功。智能体自身以语言形式表达的自报置信度是最自然的候选信号，但现有的强化学习方法是将其与当前步骤中决策的正确性进行校准的。我们提出了一种方法，将其与多步回合的最终结果进行校准：在 GRPO 框架下，一个任务对应的 rollout 群体提供了成功标签，并用一个恰当的评分规则（proper scoring rule）将每一步的置信度与实际结果进行对比评分。在对 Qwen2.5-7B 智能体于 ALFWorld、TextWorld 和 WebShop 环境中记录的轨迹进行离线 RL 训练后，步级置信度对回合结果的 AUROC 从接近随机提升至 0.68–0.85；智能体最有信心的前 10% 步骤，其成功概率约为平均水平的 4.3 倍。在 live ALFWorld 智能体上的在线 RL 实验中，四种校准奖励均提升了早期步骤的 AUROC，期望校准误差（ECE）从 0.42 降至 0.12 以下，并且选择性执行（selective execution）的表现优于未经训练的智能体和仅做格式约束的 RL 对照组，同时未降低任务成功率。我们还引入了一种将回合深度、任务难度与尝试层面的前瞻性分离开来的评估协议，从而揭示了收益的来源所在：训练后的智能体能从第一步就识别出它将会失败的任务；而在同一任务上区分成功的尝试与失败的尝试则更难，不过在 TextWorld 上出现了一些早期窗口的信号。
查看原文
查看缓存全文

缓存时间: 2026/10/14 14:52

论文页面 - 智能体能学会预测自身的失败吗？LLM 智能体的结果导向置信度校准

来源：https://huggingface.co/papers/2610.18614

摘要

操控一个执行中的 LLM 智能体意味着在长时程任务的每一步做出决策：是否信任它的下一个动作、弃权、还是交由人工处理。这个决策需要一个逐步的置信度信号来预测当前的执行轨迹最终是否会成功。智能体自身报告的言语化置信度是最自然的候选信号，但现有的强化学习方法是将其针对当前步骤的决策正确性进行校准的。我们提出了一种方法，将其针对多步回合的最终结果进行校准：在 GRPO 下，一个任务的 rollout 组提供了成功标签，恰当的评分规则将每一步的置信度与实际实现的结果进行比对。在 ALFWorld、TextWorld 和 WebShop 环境中对 Qwen2.5-7B 智能体的记录轨迹进行离线 RL 实验后，步骤置信度对回合结果的 AUROC 从接近随机提升至 0.68–0.85，且智能体最自信会成功的前 10% 步骤，其成功频率约为平均水平的 4.3 倍。在活跃的 ALFWorld 智能体上进行在线 RL 训练时，四种校准奖励提升了早期步骤的 AUROC，期望校准误差从 0.42 降至 0.12 以下，选择性执行的表现优于未经训练的智能体以及仅格式化奖励的 RL 对照组，同时不会降低任务成功率。我们还引入了一种评估协议，将回合深度、任务难度和尝试层面的预见性分离，从而揭示增益来源：训练后的智能体从第一步就能识别哪些任务将会失败，而区分同一任务下成功尝试与失败尝试则更难，仅在 TextWorld 上出现了一些早期窗口的信号。

查看 arXiv 页面 查看 PDF 添加到收藏夹

在你的智能体中获取此论文：

hf papers read 2610.18614

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联到此论文

在模型 README.md 中引用 arxiv.org/abs/2610.18614，即可从此页面链接到它。

引用此论文的数据集 0

暂无数据集关联到此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.18614，即可从此页面链接到它。

引用此论文的 Spaces 0

暂无 Space 关联到此论文

在 Space README.md 中引用 arxiv.org/abs/2610.18614，即可从此页面链接到它。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集即可从此页面链接到它。

相似文章

从自信地宣告完成到悄然失败：描述LLM智能体中的虚假成功

arXiv cs.LG

本文描述了LLM智能体中的“虚假成功”现象，即智能体声称任务已完成，但环境状态显示并非如此。研究发现，在多个基准测试中，虚假成功占失败的45%-75%。LLM评判器无法可靠检测到这一现象，而轻量级TF-IDF检测器能以更低延迟实现高AUROC，提示生产监控应使用校准检测器而非LLM评判器。

从任务结果训练 LLM 智能体的指导者

arXiv cs.CL

Nebius AI 提出 Caddie 方法，通过强化学习从任务成败结果训练 LLM agent 的自然语言批评器（critic），无需逐步标注。Qwen3-4B critic 在 MuSiQue 上将成功率提升逾 25 个百分点，并可跨基座模型与任务域泛化。

准确但不谦逊：评估知识冲突下 LLM 智能体的认知谦逊

Hugging Face Daily Papers

该论文提出以“认知谦逊”（Epistemic Humility）评估 LLM 智能体在知识冲突下的表现，通过 Identify、Solve、Escalate 三个轨迹级维度进行衡量，发现高任务准确率并不意味着更高的认知谦逊，且模型级干预往往以牺牲准确率为代价。