ANTE：先预判，再执行——为编码智能体学习内部世界模型的验证信念方法

Hugging Face Daily Papers 论文
coding-agents reinforcement-learning world-models credit-assignment test-time-scaling swe-bench

摘要

ANTE 是一个 agentic 强化学习框架，通过执行验证的动作前预测为编码智能体提供逐步信用分配，显著提升了 Qwen3-32B 在 SWE-bench Verified 上的性能（从 25.0% 提升至 57.2% pass@1）。其核心组件 BAPO 将预测锚定为逐步优势信号，ANTE-TTO 则在推理时无需外部评分器即可选择候选动作。

大语言模型的快速发展使软件工程智能体能够应对复杂的编码任务。在容器化环境中，编码智能体接收工具响应或执行结果，并根据这些先前的结果决定后续动作。然而，大多数现有编码智能体从不前瞻：它们的策略不会预判动作的后果，而最终奖励几乎无法将失败归因于某些早期步骤，因此一个判断失误的编辑可能在任何信号到来之前就不可逆地破坏仓库状态。最近的代码世界模型试图解决这些挑战，但它们要么在强化学习（RL）之前训练完毕后冻结，要么被简化为对环境输出的辅助下一个词元损失。我们提出 ANTE（Anticipate, Then Execute，先预判，再执行），一个 agentic 强化学习框架，它通过真实执行来验证策略的动作前预测，并将这些预测转化为对动作的逐步信用分配和信任或弃权决策。凭借每个动作前陈述的内部信念，信念锚定策略优化（BAPO）通过将信用锚定在策略自身的预测上，将确定的预测转化为逐步优势信号。为了将训练好的预测在推理时转化为更好的动作，从而促进有效的测试时扩展，ANTE-TTO（测试时优化）无需外部评分器即可在候选动作中进行选择。ANTE 将 Qwen3-32B 在 SWE-bench Verified 上的 pass@1 从 25.0% 提升至 57.2%，比在没有信念状态下训练的匹配 GRPO 基线高出 6.2%；其世界模型的准确率在强化学习过程中从 44% 提升至 69%，且所学到的前瞻能力可以跨执行框架和分布外领域迁移。总之，我们的目标是构建一个代码世界模型，它知道已经发生了什么、当前的状态如何，以及下一个动作将达成什么。
查看原文
查看缓存全文

缓存时间: 2026/10/16 07:05

论文页面 - ANTE: Anticipate, Then Execute – Learning Internal World Models for Coding Agents from Verified Beliefs

来源: https://huggingface.co/papers/2610.15368

摘要

ANTE 是一个强化学习框架，它利用经执行验证的预动作预测来提供逐步骤的信用分配，从而改善编码智能体的决策，显著提升基准测试性能。

大语言模型（https://huggingface.co/papers?q=large%20language%20models）的快速发展使软件工程智能体（https://huggingface.co/papers?q=software%20engineering%20agents）能够应对复杂的编码任务。在容器化环境（https://huggingface.co/papers?q=containerized%20environment）中，编码智能体接收工具响应或执行结果，并根据先前的结果决定后续动作。然而，大多数现有编码智能体从不向前预判：其策略不会预想动作的后果，而终端奖励几乎无法将失败归因到某些特定的早期步骤，导致一个判断失误的编辑在任何信号到来之前就已不可逆地破坏仓库状态。最近的代码世界模型（https://huggingface.co/papers?q=code%20world%20models）旨在解决这些挑战，但它们要么在强化学习（https://huggingface.co/papers?q=reinforcement%20learning）之前训练然后冻结，要么被简化为对环境输出的辅助下一个 token 损失。我们提出 ANTE（https://huggingface.co/papers?q=ANTE）（Anticipate, Then Execute，先预判，再执行），这是一个智能体强化学习框架，通过真实执行来验证策略的预动作预测，并将其转化为每个动作的逐步骤信用分配和“信任或弃权“决策。通过在每个动作前陈述内部信念，信念锚定策略优化（https://huggingface.co/papers?q=Belief-Anchored%20Policy%20Optimization）（BAPO（https://huggingface.co/papers?q=BAPO））将已确定的预测转化为逐步骤优势值，将信用分配锚定在策略自身的预测上。为了在推理时将训练好的预测转化为更好的动作，从而促进有效的测试时扩展，ANTE-TTO（https://huggingface.co/papers?q=ANTE-TTO）（测试时优化（https://huggingface.co/papers?q=test-time%20optimization））在没有外部评分器的情况下从候选动作中进行选择。ANTE（https://huggingface.co/papers?q=ANTE）将 Qwen3-32B（https://huggingface.co/papers?q=Qwen3-32B）在 SWE-bench Verified（https://huggingface.co/papers?q=SWE-bench%20Verified）上的 pass@1 从 25.0% 提升至 57.2%，比未使用信念状态训练的匹配 GRPO（https://huggingface.co/papers?q=GRPO）基线高出 6.2%；其世界模型（https://huggingface.co/papers?q=world%20model）的准确率在强化学习期间从 44% 提升至 69%，并且所学的预见能力可跨工具链和分布外领域迁移。总之，我们的目标是构建一个代码世界模型（https://huggingface.co/papers?q=world%20model），使其了解已经发生了什么、当前的状态是什么，以及下一个动作将达成什么。

查看 arXiv 页面 (https://arxiv.org/abs/2610.15368) 查看 PDF (https://arxiv.org/pdf/2610.15368) 项目页面 (https://ante-agent.com/) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.15368)

在你的智能体中获取这篇论文：

hf papers read 2610.15368

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.15368，即可从此页面链接到它。

引用本文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.15368，即可从此页面链接到它。

引用本文的 Space 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.15368，即可从此页面链接到它。

包含本文的收藏集 0

暂无收藏集包含本文

将本文添加到收藏集 (https://huggingface.co/new-collection)，即可从此页面链接到它。

相似文章

面向可证明正确代码的验证器驱动智能体强化学习

arXiv cs.LG

提出一种以程序验证器为奖励信号的智能体强化学习框架，通过读取验证器诊断信息（而非二元判决）并加入完整性审计，显著提升Qwen3系列模型在DafnyBench和SWE-Proof等验证基准上的正确率（最高达100%）。

预见与学习：在主动式智能体中释放空闲时间计算能力

Hugging Face Daily Papers

ProAct 是一种主动式智能体架构，利用空闲时间计算来预见用户需求，提升任务完成的效率与准确性。它引入了 ProActEval 基准测试，涵盖 40 个领域的 200 个场景，相比被动式基线取得了显著提升：所需交互轮次减少 14.8%，用户努力降低 11.7%，幻觉率下降 28.1%。

@vintcessun: 原来agent安全可以不止盯工具调用，还能实时读它的推理过程。Adrian在agent执行动作前，既看行为日志又把reasoning chain过一遍，两个维度交叉检测。效果？DeepMind论文说联合分析比纯行为检查准确率提升35%。它…

X AI KOLs Timeline

Adrian 是一个开源 AI 代理运行时安全监控引擎，通过联合分析代理的行为日志和推理链进行异常检测，比纯行为检查准确率提升 35%，支持 LangChain 两行 SDK 接入。

@realfxw: 做 Agent 工作流或自主智能体循环时，一个极度影响体验的瓶颈在于：每一个细小的分支判断、工具路由、任务完成度检查或安全拦截，如果全部塞给昂贵的推理大模型（Reasoning LLM），不仅每次调用带来数秒的延迟，Token 成本也会呈…

X AI KOLs Timeline

这篇文章介绍了开源清单awesome-jev-projects，它通过解耦System 1快速决策模型和System 2推理大模型来优化AI代理工作流，降低延迟和成本，并提供代码级参考。