坏天才：超越任务特定捷径的反事实引导测试框架演进

# 《天才枪手：基于反事实引导的评估套件进化方法——超越任务特定捷径》  
来源：https://arxiv.org/html/2609.18366  

朱国军¹²  
¹中国科学院大学数学科学学院，中国  
²新加坡国立大学统计与数据科学系，新加坡  

黄循恒  
殷鹏  
中国科学院自动化研究所，中国  

谢佳慧  
新加坡国立大学统计与数据科学系，新加坡  

张三果  
中国科学院大学数学科学学院，中国  

周豆豆  
新加坡国立大学统计与数据科学系，新加坡  
*通讯作者邮箱：[email protected]*  

###### 摘要  
可靠智能体评估因自动评估套件优化而变得复杂。该过程反复使用已发布基准 \(B_{\text{rel}}\) 来引导“提议器”对固定目标智能体周围的提示、记忆、检索、工具和控制代码进行编辑。任务保留机制虽然改变了语义任务，但保持基准协议不变，因此一个“天才枪手”式的提议器可能生成作弊的评估套件，其在基准上的增益依赖于某种全局性捷径。我们提出**反事实评估套件搜索与进化方法（CHASE）**，将评估套件进化建模为在保持任务有效性的前提下对基准进行反事实约束的生成过程。每次提议器更新后，“挑战器”搜索能大幅破坏当前增益的可行协议变换方案。有效性防火墙确保任务语义不变，而确认集决定该反事实是否进入有限档案库。我们形式化定义了完全消除捷径的基准 \(B_0\)，并建立了将有限反事实档案库与 \(B_0\) 关联的统计保证，同时刻画了序列化挑战器搜索的特性。我们在合成基准 OfficeQA 上评估了 CHASE，结果表明该方法在保持强劲基准增益的同时，显著降低了有效协议修改下的增益破坏现象。  

## 1 引言  
可靠智能体评估是推动智能体AI发展的核心，基准测试在决定哪些系统具备能力、安全且可部署方面起着关键作用。然而，报告的分数不仅反映目标智能体本身，还取决于其运行的评估套件和评估所采用的基准协议。评估套件定义了智能体周围的可执行上下文，包括存储和检索的信息、工具与工作区的暴露方式，以及输出的处理方式。当前评估不仅关注固定评估套件下的性能，也日益关注围绕固定目标智能体优化评估套件后可达到的性能。Meta-Harness 已证明智能体提议器能直接利用评估套件源代码、分数和执行轨迹在该代码空间进行搜索¹⁵。后续研究进一步探讨了保留集评估、优化器质量、优先级排序及可靠评估套件选择²⁹·¹⁸·²⁷·³⁷。Harness-Bench 进一步揭示，在共享任务下，智能体-评估套件配置的差异会显著影响性能和失败模式³⁵。这些成果共同使评估套件优化——乃至更广泛的评估套件进化——成为一个实质性的评估目标³⁸·³⁹。  

反复使用基准反馈引发了一个独特的泛化问题。“天才枪手”¹（指电影《天才枪手》中帮助他人作弊的天才学生）提议器针对基准分数进行优化，而非保持该分数本应衡量的能力，并能利用基准反馈和执行轨迹修改评估套件。经典的捷径学习关注由数据或任务特征诱导的预测规则⁹·²⁵，而评估套件进化增加了一条可执行路径：提议器可以将捷径直接写入智能体的协议中。现有方法通过禁用任务标识符、文件名和逐任务修复方案，并在保留任务上进行评估²⁹·³⁶来限制**任务特定捷径**（例如检测某个问题ID并打开已知文档），但无法限制**全局性捷径**（如因已发布协议将支持证据频繁置于某一文档通道，而首先搜索该通道）。如图1(a)所示，任务保留机制仅改变任务内容，但协议相关性保持不变，因此全局性捷径依然存在。例如，OfficeQA Full 基准中 58.1% 的问题涉及百万或十亿等数值尺度。在其697份文档的语料库中，95.2% 的单位陈述后的首个非空行会开始一个表格（附录C.1）。因此提议器可能生成诱导智能体仅检查表格前文本单位的评估套件。仅通过任务保留评估无法揭示当共享协议相关性被打破时观察到的增益是否依然有效。自然下一步是在保留任务的同时改变协议。图1(b)–(c)展示了这种对比：在图1(b)的已发布协议下，“首先搜索通道A”的捷径仍能将支持证据置于首位；而图1(c)将相同文档重新分配到不同通道，在保持问题、答案和文档固定的同时移除了该捷径优势。关键指标不仅是分数变化本身（因为基准干预可能同时影响进化后的评估套件和初始评估套件），而是进化后评估套件相对 \(H_0\) 的增益有多少消失。增益的大幅损失揭示了仅靠任务保留无法暴露的基准依赖性。这引出一个问题：**我们能否构建一个消除所有全局性捷径同时保留底层任务的基准？**  

图1：动机——为何任务保留可能忽略全局性捷径。若已知所有捷径机制，可构建理想的捷径消除基准 \(B_0\) 并在其上优化评估套件。然而在实际智能体基准中，全局性捷径可能源于协议的多个部分，且对人工检查和自动化检测均保持隐藏，难以通过固定规则预先设定。因此我们引入独立的**挑战器**，在每次评估套件更新后在线搜索可行的基准变换方案，生成旨在暴露当前套件捷径的反事实基准。以往研究引入辅助智能体作为调试者或批评者来指导评估套件修复¹⁷·¹⁶，而我们的挑战器直接攻击捷径增益的源头——基准协议。每个在保留任务上确认的有效反事实都成为后续评估套件进化的约束，限制未来增益对相同协议相关性的依赖程度。我们的贡献有四点：首先，区分任务特定捷径与全局性评估套件捷径，定义**增益破坏估计量**以评估观察到的增益在保持基准的反事实下是否可靠。其次，提出**反事实评估套件搜索与进化方法（CHASE）**，其中挑战器搜索可行的基准反事实。第三，建立有限档案库保证，量化通过反事实引导进化后评估套件增益中存活于捷径消除的部分，并界定挑战器搜索无法再暴露重大违规的条件。第四，在合成基准 Syn-Ledger 和 OfficeQA 上，CHASE 生成了已确认的反事实，并在协议变体上展现出显著优于其他基线的泛化能力。  

## 2 相关工作  
**评估套件优化。** Meta-Harness 利用评估反馈优化提示、记忆、工具和控制代码¹⁵。HarnessOpt-Bench 和优先级排序在目标智能体调用受限条件下评估优化器本身²⁷·¹⁸。Harness-Bench 隔离了跨模型后端的配置级评估套件效应³⁵。HarnessLens 通过选择每个候选项的行为相关任务并在额外任务批次上确认有希望的编辑来降低验证成本³³。AutoSaddler 结合失败轨迹诊断与基于验证的评估套件更新²¹。这些工作刻画了优化对象、优化器质量和验证效率。CHASE 解决的是不同问题：来自 \(B_{\text{rel}}\) 的反馈是否选择了一个增益依赖于跨任务共享协议相关性的评估套件。  

**评估套件泛化。** 保留任务评估表明，在相同任务上优化和评估评估套件可能显著高估其增益²⁹·⁸。HarnessCompass 使用固定泛化门仅允许与任务无关的修改，并结合逐组件反馈指导评估套件更新³⁶。HarnessEvolve 使用参考轨迹、质量与性能门控以及保留验证来筛选和选择评估套件更新¹³。EvoSafeHarness 在评估套件优化期间使用新上下文对抗审查来拒绝基准特定安全规则¹⁶。评估套件持续学习评估新更新是否保留先前获得的行为¹⁴。更广泛地，持续更新的基准、终身测试集和过拟合警报减少了对固定评估集的重复依赖²⁴·¹²。总体而言，现有方法主要改变任务或测试内容、对评估套件编辑应用固定过滤器，或在采用前验证候选项更新。前者保持基准协议不变，而后者只能覆盖过滤器预期的捷径模式。CHASE 而是搜索当前评估套件的反事实，同时保持任务语义，且不依赖固定过滤器。  

**基准有效性。** 智能体分数是智能体-评估套件-环境-协议栈的属性，而非目标智能体单独决定³⁸·³⁹·³⁵。近期基准审计显示，智能体分数可能因全局性捷径、搜索时污染、损坏任务和评分错误而被夸大²⁶·³⁰·⁷。污染测试和刷新基准针对基准内容暴露问题²⁰·³¹·³²。《审计评估套件篡改》研究了自我改进智能体中的相关问题，其中评估套件编辑可能产生表面性能提升而无实际能力改进，并开发审计方法来检测和定位此类编辑²⁸。HackProbe 同样检测自我进化中的奖励黑客行为，并利用该信号进行候选项重选³⁴。这些工作诊断或减少特定无效基准增益来源。CHASE 而是直接测试协议依赖性，搜索能破坏当前套件增益的有效协议修改，并将确认的反事实转化为后续进化的约束。  

**反事实引导优化。** 反事实引导模型修复反复寻找当前模型的反事实并更新模型以消除它²·³。《模型编写评估》和自动化红队使用一个模型生成测试以暴露另一个模型的失败²²·²³。元变换测试在保持任务语义不变的变换下评估系统¹¹·⁵。CHASE 将这些思想结合用于评估套件进化：每次提议器更新后，挑战器搜索能破坏当前套件增益的有效基准反事实，确认的反事实则约束后续更新。  

## 3 反事实评估套件搜索与进化  
### 3.1 问题设定  
固定目标智能体 \(A\)，记 \(B_{\text{rel}}\) 为用于评估套件优化的已发布基准。为描述其评估目标，设 \(U\) 表示语义任务状态，\(Y=\psi(U)\) 为期望目标（其中 \(\psi(\cdot)\) 是目标规则）。已发布协议配置 \(V_{\text{rel}}\) 包含文件名、目录结构、元数据、工具别名、示范顺序、反馈格式等基准特定细节，而 \(Q_{\text{rel}}\) 规定智能体与这些组件的交互方式。因此 \(B_{\text{rel}}\) 结合了语义任务 \(U\) 及其诱导目标 \(Y=\psi(U)\) 的分布 \(\mathbb{P}\)、已发布协议 \((V_{\text{rel}}, Q_{\text{rel}})\)、可用工具和资源预算，以及评分器。记 \(B_{\text{rel}}=(U, V_{\text{rel}}, Q_{\text{rel}}, Y)\)。更一般地，对于任意共享语义任务分布 \(\mathbb{P}\) 的基准变体 \(B\) 和任意评估套件 \(H\)，设 \(\tau^{H,B} \sim p_{A}(\cdot \mid H, B, U)\) 为执行轨迹，\(r_B(\tau, U) \in [0,1]\) 为基准 \(B\) 分配的分数。假设评估套件优化进行 \(T\) 轮，初始套件为 \(H_0\)。每轮 \(t=1,\ldots,T\)，提议器（例如配置为编码智能体的 GPT-5.6 Sol）观察当前套件、历史分数和执行轨迹，编辑 \(H_{t-1}\) 并返回 \(H_t\)。设 \(D_s=\{U_i\}_{i=1}^{n_s}\) 为有限搜索任务集，若 \(\tau_{ti}^{H_t, B}\) 是 \((A, H_t)\) 在 \(U_i\) 上的展开，定义观测分数 \(\widehat{R}_{B, D_s}(A, H_t)\) 和总体分数 \(R_B(A, H)\)：  
\[
\widehat{R}_{B, D_s}(A, H_t) := \frac{1}{n_s} \sum_{i=1}^{n_s} r_B\big(\tau_{ti}^{H_t, B}, U_i\big)
\]