# Opera:面向长周期编码智能体的语言批评者框架

Hugging Face Daily Papers 论文

摘要

Opera 是一个针对长期运行的代码智能体的口头批评框架,它将每次纠正都记录为一条持久化的备注,跟踪智能体的行为以区分“简单遵从指令”与“真正解决问题”。该框架在多个基准测试中将问题解决率提高了最多 15 个百分点,并提供同策略(on-policy)训练数据,能够提升 Qwen3.5-9B 在 SWE-Bench Pro 上的表现,且无需在推理阶段使用批评器。

长期运行的编码智能体需要及时的纠错反馈,但当反馈误判正在进行的工作或未能解决根本问题时,反馈可能无效甚至适得其反。现有的批评者(critic)框架主要关注评估轨迹和生成反馈,但很少追踪反馈传递之后发生的事情。我们提出 Opera,一个将每次纠错视为持久性注记(persistent note)的言语批评者框架,持续追踪该注记直到诊断出的问题被真正解决。Opera 通过周期性触发和事件驱动触发来决定何时进行审查,使用类型化算子(typed operators)诊断问题,在反馈传递前对照可见证据进行审计,并追踪智能体的后续行为以区分表面服从与实际解决。作为测试时批评者,Opera 将非批评者智能体的解决率(resolve rate)在 Terminal-Bench 2.1、SWE-Bench Pro 子集和 DeepSWE v1.1 上分别提升最多 12.4、15.0 和 8.9 个百分点,涵盖四种策略模型,并在所有三个基准上均取得了竞争性批评者基线中最高的平均解决率;即使当策略模型进行自我批评时,Opera 也能进一步提升策略模型的表现。除推理阶段外,Opera 引导的轨迹生成提供近似 on-policy 的训练数据:在其上对 Qwen3.5-9B 进行微调,使其在未见过的 SWE-Bench Pro 仓库上的解决率提升 10.2 个百分点,且无需在推理时使用批评者,效果与在更强模型生成的轨迹上微调相当;同时在切换工具链(如从 OpenHands 切换到 Terminus-2)时仍能保持性能,而后者会导致性能显著下降。我们的代码已开源:https://github.com/dongyuanjushi/Opera
查看原文
查看缓存全文

缓存时间: 2026/10/09 22:23

论文页面 - Opera:面向长周期编程智能体的言语批评家框架

来源:https://huggingface.co/papers/2609.33987 发布于 10 月 8 日

·

由 https://huggingface.co/dongyuanjushi 提交

KaiMei (https://huggingface.co/dongyuanjushi) 于 10 月 9 日发布

摘要

长周期编程智能体需要及时的纠正,但当反馈误判了正在进行的工作或未能解决根本问题时,反馈可能无效甚至有害。现有的批评家方法主要聚焦于评估轨迹和生成反馈,却很少追踪反馈发出之后发生了什么。我们提出 Opera——一个言语批评家框架,它将每次纠正视为一条持久的记录,并持续追踪,直到被诊断出的问题得到解决。Opera 通过周期性触发和事件驱动触发来决定何时进行审查,使用带类型的算子诊断问题,在反馈送达前依据可见证据对反馈进行审核,并追踪智能体后续的行为,以区分单纯的服从与真正的解决。作为一个测试时批评家,Opera 将非批评家智能体的解决率在 Terminal-Bench 2.1、SWE-Bench Pro 子集和 DeepSWE v1.1 上分别提升至多 12.4、15.0 和 8.9 个百分点(跨四个策略模型),并在所有三个基准上均取得有竞争力批评家基线中最高的平均解决率,当策略模型进行自我批评时也能带来提升。除了推理之外,由 Opera 引导的 rollout 提供了近似同策略(on-policy)的训练数据:在其上微调 Qwen3.5-9B,可使其在留出的 SWE-Bench Pro 仓库上的解决率提升 10.2 个百分点,且推理时无需批评家,其效果与使用更强模型生成的 rollout 进行微调相当;同时在更换运行框架(harness),即从 Openhands 切换到 Terminus-2 时仍能保持性能,而后者会显著导致性能下降。我们的代码已开源:https://github.com/dongyuanjushi/Opera。

查看 arXiv 页面 (https://arxiv.org/abs/2609.33987) · 查看 PDF (https://arxiv.org/pdf/2609.33987) · GitHub1 (https://github.com/dongyuanjushi/Opera) · 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.33987)

在你的智能体中获取此论文:

hf papers read 2609.33987

没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2609.33987 即可将其关联到此页面。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.33987 即可将其关联到此页面。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2609.33987 即可将其关联到此页面。

收录此论文的合集 0

暂无合集收录此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可将其关联到此页面。

相似文章

OPERA: 通过基于目标困惑度的强化学习对齐开放式推理

arXiv cs.CL

OPERA提出了一种针对开放式任务的强化学习方法,利用困惑度动态作为内在奖励,取代了不可靠的“LLM作为评判者”奖励模型。在Qwen3-8B上实现了最先进的结果,在创意写作及其他开放式任务中可媲美专有模型。

CORVUS:基于底层同步的LLM编码代理上下文优化与缩减

arXiv cs.LG

CORVUS提出了一种新的轨迹架构用于LLM编码代理,通过维护相关文件的同步注册表,将文件读取操作与观察结果解耦,从而减少输入令牌9-50%,推理周期最多减少37%,同时在SWE-bench基准上保持相当的通过率。