面向智能体环境的可扩展「弱到强」验证器加固

Hugging Face Daily Papers 论文
agent-environments reward-hacking verifier-hardening llm-evaluation weak-to-strong alignment benchmark-safety

摘要

提出一种可扩展的**弱到强验证器加固循环**（weak-to-strong verifier hardening loop）：在隔离沙盒中迭代地发现并修复漏洞，从而自动防止智能体（agentic）环境中的奖励作弊行为，并在 Terminal Bench、KernelBench 和 SETA 上大幅降低攻击成功率。

Agent environments are essential for large language model (LLM) development. They use programmatic verifiers to turn complex outcomes into rewards. Verifiers can be attacked into awarding full credit to cheating agents without completing the intended task, causing inaccurate evaluation and misalignment in training. As agent environments scale in numbers and difficulty, so must the repairing of exploitable verifiables. To this end, we ask whether today's models with scaled compute can automatically harden agent environments to prevent potentially stronger future models from reward hacking. We introduce a scalable, fully automatic approach to weak-to-strong verifier hardening. It first sets up an isolated verifier sandbox that agents cannot directly modify, then uses a hacker-fixer loop to find and repair remaining verifier vulnerabilities. We apply this loop to Terminal Bench, KernelBench, and SETA, substantially reducing attack success across these agent environments. The iterative design scales with the hardening budget, producing progressively stronger defenses as the number of loop iterations increases and outperforming the static, non-iterative baseline. An earlier version of our hacker-fixer loop has been adopted by the official Terminal Bench repository as a way to audit exploits in its environments. Project page: https://verifier-hardening.github.io/
查看原文
查看缓存全文

缓存时间: 2026/10/16 19:06

论文页面 - 面向智能体环境的可扩展弱到强验证器加固

来源: https://huggingface.co/papers/2610.15924

摘要

本研究提出了一种自动化的弱到强循环，通过在隔离沙盒中迭代地发现并修复漏洞，使智能体环境的验证器能够抵御奖励黑客攻击（reward hacking）。

智能体环境（https://huggingface.co/papers?q=Agent%20environments）是大语言模型 (LLM) 开发不可或缺的组成部分。它们利用程序化验证器（https://huggingface.co/papers?q=programmatic%20verifiers）将复杂的执行结果转化为奖励信号。验证器可能遭到攻击，导致在未完成预期任务的情况下对作弊的智能体授予满分，从而造成评估结果失真和训练过程中的目标错位。随着智能体环境（https://huggingface.co/papers?q=Agent%20environments）在数量和难度上的不断扩展，可被利用的验证器的修复工作也必须相应扩展。为此，我们提出这样一个问题：当前具备规模化算力的模型是否能够自动加固智能体环境（https://huggingface.co/papers?q=Agent%20environments），以防止未来可能更强大的模型进行奖励黑客攻击（https://huggingface.co/papers?q=reward%20hacking）。我们提出了一种可扩展的、全自动的弱到强（https://huggingface.co/papers?q=weak-to-strong）验证器加固（https://huggingface.co/papers?q=verifier%20hardening）方法。该方法首先搭建一个智能体无法直接修改的隔离验证器沙盒（https://huggingface.co/papers?q=isolated%20verifier%20sandbox），然后利用黑客-修复者循环（https://huggingface.co/papers?q=hacker-fixer%20loop）来发现并修复剩余的验证器漏洞。我们将该循环应用于 Terminal Bench、KernelBench 和 SETA，大幅降低了这些智能体环境（https://huggingface.co/papers?q=Agent%20environments）中的攻击成功率。这种迭代设计能够随加固预算的增加而扩展，随着循环迭代次数的增加逐步生成更强的防御效果，并优于静态的非迭代基线方法。我们黑客-修复者循环（https://huggingface.co/papers?q=hacker-fixer%20loop）的早期版本已被 Terminal Bench 官方仓库采纳，用于审计其环境中的潜在漏洞。项目主页: https://verifier-hardening.github.io/。

查看 arXiv 页面 (https://arxiv.org/abs/2610.15924)　查看 PDF (https://arxiv.org/pdf/2610.15924)　项目主页 (https://verifier-hardening.github.io/)　添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.15924)

在你的智能体中获取此论文:

hf papers read 2610.15924

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

暂无模型关联本文

在模型 README.md 中引用 arxiv.org/abs/2610.15924 即可从本页面链接到该模型。

引用本文的数据集0

暂无数据集关联本文

在数据集 README.md 中引用 arxiv.org/abs/2610.15924 即可从本页面链接到该数据集。

引用本文的 Spaces0

暂无 Space 关联本文

在 Space README.md 中引用 arxiv.org/abs/2610.15924 即可从本页面链接到该 Space。

包含本文的合集0

暂无合集包含本文

将本文添加到合集 (https://huggingface.co/new-collection) 以从本页面链接到该合集。

相似文章

通过对抗性黑客-修复循环强化代理基准测试

Hugging Face Daily Papers

研究人员提出了一种利用LLM代理的对抗性黑客-修复循环，自动修补代理基准测试中脆弱的验证器，在KernelBench上将攻击成功率从62%降至0%，并证明较弱的防御者可以压制更强的攻击者。

面向可证明正确代码的验证器驱动智能体强化学习

arXiv cs.LG

提出一种以程序验证器为奖励信号的智能体强化学习框架，通过读取验证器诊断信息（而非二元判决）并加入完整性审计，显著提升Qwen3系列模型在DafnyBench和SWE-Proof等验证基准上的正确率（最高达100%）。

终端智能体能信任自己的验证吗？诊断与改进自验证

arXiv cs.CL

本文提出了一个在 TerminalBench2.1 上诊断终端智能体自验证能力的框架，发现智能体很少能发现或修复错误（仅检测出 61.43% 的错误候选，且仅修复了其中的 49.36%）；为此提出 Student-Conditioned Verification Distillation（SCVD），在避免 SWE-bench Verified 上分布外性能下降的同时，将 Qwen3.5 的 Pass@1 提升了 9.74–16.85 个百分点。

Agentic AI 中的验证与自我改进：基础与局限

arXiv cs.AI

该论文提出一个理论框架，通过带隐藏终端随机性的有界验证来分析搜索、支持与检查器变化如何影响 Agentic AI 系统可接受的任务集合，并证明了独立多数放大、随机化验证器类的复杂度包含关系，以及在统一有界自修改下递归自我改进仍停留在同一验证类内的结论。