# Opera:面向长周期编码智能体的语言批评者框架
摘要
Opera 是一个针对长期运行的代码智能体的口头批评框架,它将每次纠正都记录为一条持久化的备注,跟踪智能体的行为以区分“简单遵从指令”与“真正解决问题”。该框架在多个基准测试中将问题解决率提高了最多 15 个百分点,并提供同策略(on-policy)训练数据,能够提升 Qwen3.5-9B 在 SWE-Bench Pro 上的表现,且无需在推理阶段使用批评器。
查看缓存全文
缓存时间: 2026/10/09 22:23
论文页面 - Opera:面向长周期编程智能体的言语批评家框架
来源:https://huggingface.co/papers/2609.33987 发布于 10 月 8 日
·
由 https://huggingface.co/dongyuanjushi 提交
KaiMei (https://huggingface.co/dongyuanjushi) 于 10 月 9 日发布
摘要
长周期编程智能体需要及时的纠正,但当反馈误判了正在进行的工作或未能解决根本问题时,反馈可能无效甚至有害。现有的批评家方法主要聚焦于评估轨迹和生成反馈,却很少追踪反馈发出之后发生了什么。我们提出 Opera——一个言语批评家框架,它将每次纠正视为一条持久的记录,并持续追踪,直到被诊断出的问题得到解决。Opera 通过周期性触发和事件驱动触发来决定何时进行审查,使用带类型的算子诊断问题,在反馈送达前依据可见证据对反馈进行审核,并追踪智能体后续的行为,以区分单纯的服从与真正的解决。作为一个测试时批评家,Opera 将非批评家智能体的解决率在 Terminal-Bench 2.1、SWE-Bench Pro 子集和 DeepSWE v1.1 上分别提升至多 12.4、15.0 和 8.9 个百分点(跨四个策略模型),并在所有三个基准上均取得有竞争力批评家基线中最高的平均解决率,当策略模型进行自我批评时也能带来提升。除了推理之外,由 Opera 引导的 rollout 提供了近似同策略(on-policy)的训练数据:在其上微调 Qwen3.5-9B,可使其在留出的 SWE-Bench Pro 仓库上的解决率提升 10.2 个百分点,且推理时无需批评家,其效果与使用更强模型生成的 rollout 进行微调相当;同时在更换运行框架(harness),即从 Openhands 切换到 Terminus-2 时仍能保持性能,而后者会显著导致性能下降。我们的代码已开源:https://github.com/dongyuanjushi/Opera。
查看 arXiv 页面 (https://arxiv.org/abs/2609.33987) · 查看 PDF (https://arxiv.org/pdf/2609.33987) · GitHub1 (https://github.com/dongyuanjushi/Opera) · 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.33987)
在你的智能体中获取此论文:
hf papers read 2609.33987
没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
暂无模型关联此论文
在模型 README.md 中引用 arxiv.org/abs/2609.33987 即可将其关联到此页面。
引用此论文的数据集 0
暂无数据集关联此论文
在数据集 README.md 中引用 arxiv.org/abs/2609.33987 即可将其关联到此页面。
引用此论文的 Spaces 0
暂无 Space 关联此论文
在 Space README.md 中引用 arxiv.org/abs/2609.33987 即可将其关联到此页面。
收录此论文的合集 0
暂无合集收录此论文
将此论文添加到合集 (https://huggingface.co/new-collection) 即可将其关联到此页面。
相似文章
OPERA: 通过基于目标困惑度的强化学习对齐开放式推理
OPERA提出了一种针对开放式任务的强化学习方法,利用困惑度动态作为内在奖励,取代了不可靠的“LLM作为评判者”奖励模型。在Qwen3-8B上实现了最先进的结果,在创意写作及其他开放式任务中可媲美专有模型。
与您协同进步:将用户修正编译为编码代理的运行时强制
TRACE 是一个技能层管道,通过从交互式编码代理中挖掘用户修正,编译为运行时检查,在减少重复偏好违反方面显著优于仅靠记忆,这一点在 ClawArena 和 MemoryArena 任务中得到验证。
@kapicode: 我一直在使用 Claude 作为“人类”来提示 @opencode 以重建参考项目,在同一测试平台上评估了四款 LLM…
一项针对四款大语言模型(Qwen、MiniMax、GLM)的评估显示,当使用 Claude 作为 Opencode 智能体工具的提示器时,一个较小的本地模型(运行在 3090 显卡上的 Qwen 27B)在代码质量与可靠性方面表现优于更大的剪枝模型。
@dair_ai:一篇关于编程智能体的极具参考价值的基准测试论文。在Claude Code环境中运行的Claude Opus 5仅通过23.9%的测试项……
该论文提出了一种新的编程智能体评估基准,用于衡量其在真实环境中完成实际客户服务任务的能力。
CORVUS:基于底层同步的LLM编码代理上下文优化与缩减
CORVUS提出了一种新的轨迹架构用于LLM编码代理,通过维护相关文件的同步注册表,将文件读取操作与观察结果解耦,从而减少输入令牌9-50%,推理周期最多减少37%,同时在SWE-bench基准上保持相当的通过率。