论文页面 - 前瞻性后见：通过预测与现实之间的差距实现自校准强化学习

来源：https://huggingface.co/papers/2610.02740

摘要

面向长时程智能体的强化学习依赖纯粹的回顾性训练信号：只有在观察到环境后果之后才进行信用分配，导致智能体在采取行动时的信念无法被梯度感知\。我们提出前瞻性后见(PH)，这是一种自校准训练原则，通过引入源自智能体前瞻性预测(反馈前)与回顾性评估(反馈后)之间差距的信号，增强任何基于回顾性信号的基础方法\。这种逐轨迹的惊讶度能够识别智能体自我模型最不准确的样本，并通过停止梯度的惊讶度加权优势放大这些样本的梯度贡献\。由于前瞻性预测器与策略共享参数，两者共同演化，逐步将关注点转移到智能体尚存的盲点上\。我们将这一原则与特权信息差距联系起来，并证明最小化惊讶度残差能够为降低智能体的失校准率提供一条下降路径；因此，校准作为优化的副产物自然产生，而非源于额外添加的目标\。在单轮可验证任务和多轮个人智能体任务上(采用GRPO、同策略蒸馏及两者的组合)，PH同时提升了任务表现和校准水平，并在不同模型规模上取得一致的增益\。值得注意的是，主导的失校准模式在不同任务情境之间发生了结构性转变：单轮任务中表现为过度自信的失败，多轮任务中表现为信心不足的成功，但同一训练原则成功应对了这两种情况\。

查看arXiv页面 (https://arxiv.org/abs/2610.02740)查看PDF (https://arxiv.org/pdf/2610.02740)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.02740)

在你的智能体中获取这篇论文：

hf papers read 2610\.02740

还没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型关联这篇论文

在模型的README.md中引用arxiv.org/abs/2610.02740，即可从本页面链接到该模型\。

引用这篇论文的数据集0

没有数据集关联这篇论文

在数据集的README.md中引用arxiv.org/abs/2610.02740，即可从本页面链接到该数据集\。

引用这篇论文的Spaces0

没有Space关联这篇论文

在Space的README.md中引用arxiv.org/abs/2610.02740，即可从本页面链接到该Space\。

收录这篇论文的合集0

没有合集收录这篇论文

将这篇论文添加到一个合集 (https://huggingface.co/new-collection)，即可从本页面链接到该合集\。