Oracle Gap与信号保真度：一种测试时协作的固定池诊断方法

# Oracle Gap 与 Signal Fidelity：一种用于测试时协作的固定候选池诊断方法

来源：https://arxiv.org/html/2607.17531

###### 摘要

测试时协作，包括 self‑consistency、best‑of‑N 选择、critic 模型和 verifier 管道，通常被认为能广泛提升 LLM 的推理能力，但其收益并不均衡，有时甚至是负面的。我们探究无训练协作在什么情况下应有帮助。针对一个固定的候选池，我们将选择器或验证器的净收益分解为若干可测量因素：可恢复质量、验证信号覆盖率、条件选择质量，以及对已正确输出的损害。这将协作重新定义为一个候选选择问题，而非多智能体拓扑的内在属性。在 LiveCodeBench、MATH Level‑5 困难子题和 GPQA‑Diamond 上，收益首先受限于 oracle gap，其次受限于 signal fidelity（我们直接通过验证器判断与官方标签在候选层面的吻合度来测量）。在 LiveCodeBench 上，一个公开测试验证器（MCC 0.825）相比首次采样基线提升了 +8.14 个百分点；一个生成测试验证器（MCC 0.248）提升了 +2.70 个百分点，且与 LLM 选择器在统计上无显著差异，但后者有 4.69% 的损害率，而前者基本无损害。在 MATH 上，一个符号答案等价选择器比 self‑consistency 提升了 +4.67 个百分点，而 LLM 选择器为负收益。在 GPQA‑Diamond 上，可恢复质量仅为 3.03%，且 87.54% 的候选池答案完全相同；较弱模型的候选池两者进一步缩小，表明 oracle gap 是任务、模型和采样配置的联合属性。我们的框架提供了一个实用的部署前诊断：先估计 oracle gap，再测量覆盖率、signal fidelity 和损害，然后再投资于协作。

## 1 引言

测试时协作如今已成为提升大语言模型推理能力的常见策略：采样多个候选并通过 self‑consistency 投票、让 critic 检查答案、用测试过滤代码，或将输入路由给更强的 worker。这些机制通常被归入同一个直觉：更多计算、更多智能体、或更多评判应能提升可靠性。

然而，实证层面这一直觉并不完整。Critic 可能在修复某些失败的同时，损害了原本正确的答案。Self‑consistency 对于具有归一化最终答案的数学问题有意义，但针对代码字符串的精确多数投票主要是一种后备规则，而非真正的选择器。公开测试对代码而言可能是极强的信号，而自生成测试可能继承了模型自身的盲点。第二个模型可能增加多样性，也可能只是在几乎相同的候选（无论对错）中进行选择。简而言之，协作不仅仅取决于拓扑：其价值取决于候选池、任务的评估结构以及用于选择候选的信号保真度。

本文提出的问题是：*无训练协作在什么情况下应有帮助？* 我们将由此得出的固定候选池诊断框架称为 **OracleGap**。我们研究选择器/验证器设置：对于每个问题，生成一个固定候选池，然后由一种机制在不经过进一步训练的情况下选择一个候选。这涵盖了 best‑of‑N 选择、LLM 选择器、生成测试过滤、公开测试过滤以及符号答案等价选择，并有意将选择与修复区分开来：修复机制可以创建新的候选，而选择器只能捕获池中已有的改进。

(a) 固定候选池诊断与收益分解

输入 \(x\)  
固定池 \(C(x), k=5\)：\(y_1, y_2, y_3, y_4, y_5\)  
验证信号（覆盖率：信号是否存在？保真度：判断 vs. 官方标签）  
选择 \(\hat{y}\)，失败则回退 \(\rightarrow y_1\)  
结果核算：固定 (+)、损害 (-)、不变 (0)  
参考错误 + 存在正确答案 \(\Rightarrow\) 可恢复；oracle gap  
官方标签审计 only  
收益 \(\text{gain} = P(R \land D) q - P(C \land D) h\)  
\(R\): 可恢复，\(C\): 参考正确，\(D\): 信号已定义

(b) 部署前工作流程  
1. 估计 oracle gap  
2. 审计覆盖率和保真度  
3. 比较捕获收益与损害  
4. 仅在净收益为正时部署  
   - 小 gap \(\Rightarrow\) 停止（GPQA: 3.03 pp）  
   - 低覆盖率/保真度限制捕获（L4-gen: 35.8% active, MCC 0.248）  
   - 损害可能抹掉恢复的收益（GPQA L1: net -1.68 pp）  
   - 高保真度信号有回报（L4-public: +8.14 pp, 零损害）

图 1: OracleGap 概览。(a) 官方标签揭示审计型 oracle gap，并测量可部署信号的覆盖率和保真度；随后选择产生修复、损害或无变化。(b) 部署前工作流程在可恢复质量较小时停止，仅部署那些捕获收益超过损害的信号。我们的核心主张是：选择收益首先受限于 **oracle gap**，其次受限于验证信号的 **覆盖率、保真度、质量和损害**。我们通过一个固定候选池分解来具体化这一观点：

\[
\begin{split}
\mathrm{gain} = & P(\mathrm{recoverable} \land \mathrm{defined}) \, q \\
                 & - P(\mathrm{reference\ correct} \land \mathrm{defined}) \, h,
\end{split}
\tag{1}
\]

其中 **recoverable** 指参考输出错误但池中存在某个正确答案；\(q\) 是在信号已定义的可恢复示例上条件选择成功的概率；\(h\) 是当信号已定义时，机制将参考正确示例变为错误示例的频率。我们还直接通过验证器判断与官方标签在候选层面的一致性来测量验证器的 **fidelity**，将该分解与不完美验证器理论联系起来。

我们在 LiveCodeBench（执行信号可用，生成测试不完美）、MATH Level-5 困难子题（答案可归一化或符号检查）、GPQA-Diamond（低可恢复、低多样性的边界情况）以及 HumanEval+（一个饱和的代码锚点）上进行评估 (Jain et al., 2024; Hendrycks et al., 2021; Rein et al., 2024; Liu et al., 2023)。

图 1 总结了固定候选池核算，并将其转化为一个部署前决策流程。

我们的贡献如下：

1. 一种对选择器/验证器收益的无训练分解，将其分解为可恢复质量、信号覆盖率、条件质量和损害，使协作收益可在任务层面测量，而非归因于智能体数量或拓扑。
2. 一个三种子 LiveCodeBench 选择器阶梯，在统一任务集上使用分层置信区间，比较首次采样基线、LLM 选择器、生成测试验证器、公开测试验证器以及 any-of-k 预言上限。
3. 验证器 fidelity 是实证瓶颈的证据（图 2）：具有高候选层面保真度的公开测试验证器捕获了 oracle gap 的绝大部分，而低保真度的生成测试验证器捕获较少，但后者几乎无损害。
4. 跨任务边界证据：在 MATH 上，符号答案等价选择器优于 self‑consistency，而自然语言 LLM 选择器为负收益；在 GPQA-Diamond 上，候选池的 oracle gap 仅 3.03 个百分点，答案同质性高，且 LLM 选择器在该池上为净负收益。
5. 一个路由‑η 扩展（补充材料）表明 worker 路由和候选选择受不同约束，不应被混为一谈为单一协作概念。

综上所述，这些结果提供了一个实用的诊断方法：在部署 critic、验证器或多智能体选择器之前，先估计候选池的 oracle gap，然后衡量可用信号是否具有足够的覆盖率、保真度和低损害，以证明额外计算的合理性。

## 2 相关工作

### 2.1 测试时选择与基于执行的过滤

Self‑consistency 和 best‑of‑N 采样在聚合或选择可靠时能提升推理能力 (Wang et al., 2023; Brown et al., 2024; Snell et al., 2024)。对于代码，CodeT 使用生成测试过滤候选 (Chen et al., 2022)，AlphaCode 结合采样与测试过滤及聚类 (Li et al., 2022)，MBR‑Exec 通过行为一致性进行选择 (Shi et al., 2022)。这些是我们生成测试与公开测试机制的直接前身。

我们并未引入另一种选择器，而是固定候选池，将实际收益分解为可恢复质量、信号覆盖率、条件质量和损害。这一诊断层直接比较了通常被分别评估的自然语言、生成测试、公开测试和符号等价机制。

### 2.2 训练过的与不完美的验证器

基于验证器的选择包括训练过的结果验证器和过程验证器 (Cobbe et al., 2021; Uesato et al., 2022; Lightman et al., 2024)。多智能体验证引入了 BoN‑MAV (Lifshitz et al., 2025)，而较新的通用及多序列验证器改进了粒度、校准和预算感知排序 (Kwok et al., 2026; Kim et al., 2026)。这些改进了验证器；我们的无训练设置则探究可用的信号究竟在何时能将候选多样性转化为净收益。

互补的理论路线根据验证器 ROC 几何推导 best‑of‑N 和拒绝采样行为 (Dorner et al., 2025)，表明假阳性会施加准确率上限并可能导致缩放曲线向下弯曲 (Stroebl et al., 2024)，并建立了基于验证器缩放的渐近优势 (Setlur et al., 2025)。计算匹配的验证并非总是最优 (Singhi et al., 2025)；Venkatesh 等人 (2025) 概述了更广泛的设计空间。

最直接相关的是 Lu 等人 (2025) 系统地研究了在不同 self‑、族内和族间求解器‑验证器对中，解验证何时有益。他们发现随着求解器‑验证器相似度降低，族间验证更强；我们的 L3 使用了更小的族间选择器，因此 L1–L3 的差距反映了能力而非族相似度，这一点通过我们的捕获/损害分解得以明确呈现。

我们通过候选层面与官方标签的一致性（包括准确率、错误率和 MCC）使验证器质量变得可观察。将保真度与覆盖率和损害分离，能够捕捉到那些准确但很少激活的验证器，以及保守、低损害但错过许多正确答案的验证器，从而用跨领域的经验核算补充了不完美验证器理论。

### 2.3 多智能体协作何时有帮助

近期工作直接质疑了增加智能体数量或交互轮次必然有益的假设。基于多样性的分析表明，同质智能体会饱和，因为它们的输出相关，而异质智能体提供互补的有效通道 (Yang et al., 2026)。最接近的同类问题研究发现，熵动态随任务和协调拓扑变化；因此，减少交互引发的不确定性本身并不足以证明真正的改进 (Zhao et al., 2026)。多智能体辩论中的不确定性分解同样区分了认知增益与随机成本 (Qiao et al., 2026)。

系统级研究从不同角度得出了兼容的结论。MAST 梳理了系统设计问题、智能体间不一致以及任务验证失败 (Cemri et al., 2025)；受控缩放研究发现了能力饱和与依赖拓扑的错误传播 (Kim et al., 2025)；匹配 token 的实验表明，当总思考计算量固定时，单智能体推理可能优于多智能体系统 (Tran and Kiela, 2026)。早期研究也发现，若无外部反馈，自我纠正不可靠，而辩论能在某些事实和推理任务上带来改进 (Huang et al., 2024; Du et al., 2023)。

我们的范围比这些拓扑级、熵级或系统级分析更狭窄、更具机制性。我们询问一个具体的选择器是否能将一个*固定的*候选池转化为更好的输出。GPQA-Diamond 提供了一个边界案例：大多数 \(k=5\) 池的答案相同，oracle gap 仅有 3.03 个百分点，留给任何选择器的空间都很小。LiveCodeBench 和 MATH 则提供了互补案例：存在可恢复候选，但收益取决于选择信号是否忠实且低损害。因此，我们的 oracle‑gap 和 signal‑fidelity 框架与多样性和熵是互补的：它量化了改进空间以及机制捕获该空间的能力。

### 2.4 生成测试与无标签保真度估计

生成测试方法与我们的可部署代码验证器尤为接近。CoSPlay 在无真实测试的情况下协同进化代码候选与自生成单元测试 (Hu et al., 2026)。UTGen 学习能揭示错误的输入和预期输出，而 UTDebug 则投入测试时计算以验证反馈并避免过拟合 (Prasad et al., 2025)。UTRL 对抗性地训练测试和代码生成器，使生成的测试更好地区分有缺陷的程序 (Lee et al., 2026)。这些方法应对了我们结果所揭示的局限：自生成测试可能低损害但低保真度，因为它们继承了生成器的盲点或分配了不正确的预期输出。

我们的贡献是互补的。我们使用官方标签直接审计生成测试的判断，将保真度和激活识别为独立的瓶颈。这为无标签可靠性估计搭建了桥梁：未来的生成测试系统不仅应通过最终 pass@1 评估，还应判断其内部置信度或可靠性分数是否能预测官方标签的保真度。

### 2.5 定位总结

综合来看，这些文献涵盖了候选生成、验证器训练、不完美验证器理论、多智能体缩放以及改进生成测试的方法。我们的贡献在于跨不同可判定性特征的基准上增加了缺失的固定候选池测量层：在将收益归因于协作或拓扑之前，先测量是否存在可恢复答案以及所依赖的信号是否足够。We need to continue translating the remaining parts of the paper. The user didn't specify a stop point, so we should translate the entire provided content, which includes sections up to 2.5. The paper likely continues after that, but we only have the content up to Abstract, 1 Introduction, and 2 Related Work (2.1-2.5). The user message includes the full text up to the end of section 2.5. We'll translate to the end of the provided markdown.

However, the user message ends with "before attributing gains to collaboration or topology, measure whether recoverable answers exist and whether the dep". It seems cut off. Possibly the user intended to provide the full source? But we have only this much. We'll translate what we have faithfully. The last sentence is incomplete; we'll translate it as is.

We'll output the translated markdown.### 2.5 定位总结

综合来看，这些文献涵盖了候选生成、验证器训练、不完美验证器理论、多智能体缩放以及改进生成测试的方法。我们的贡献在于跨不同可判定性特征的基准上增加了缺失的固定候选池测量层：在将收益归因于协作或拓扑之前，先测量是否存在可恢复答案以及所依赖的信号是否足够。