基于验证器与无验证器的测试时扩展结果比人们认为的更早，并且它不断得到确认 [D]

Setlur等人的研究结果——即在没有验证或强化学习的情况下扩展测试时计算被证明是次优的——不断出现在我的阅读中，我认为它应该得到比“又一篇扩展论文”的待遇更多的重视。核心主张是，在固定计算预算下，基于验证器的方法（由验证器引导的强化学习或搜索）主导了无验证器方法（如提炼成功轨迹），并且随着测试时预算的增加，差距会扩大。 我觉得被低估的是，这与已部署系统目前正在趋同的方向多么清晰地吻合。单智能体ReAct循环是无验证器的极端情况：你采样一个轨迹并保留它，可能还带有一些自我反思，但这仍然是同一个模型在自我评分。那些真正推动指标提升的多智能体设置则将验证器分离成一个独立的过程。 Apodex是我见过的最明确的例子：他们训练了团队行为，并运行一个验证团队——冲突审查员、事实核查员、草稿审查员——这些不共享推理轨迹，并且报告的性能提升来自验证器，而非增加的参数。同一个训练好的模型，在重载模式下，在BrowseComp和FrontierScience-Research上增加了两位数的提升。这恰恰是理论预测的状态：收益存在于验证器。 我认为这之所以重要，不仅仅在于关注基准测试，还因为它重新定义了下一波能力从何而来。如果你相信VB优于VF的结果，那么路径不仅仅是更大的模型或更长的轨迹，而是构建在结构上独立于生成器的更好验证器。伪正确性框架也适用于此。验证器需要捕捉的失败模式不是明显的幻觉，而是那些通过了所有自我检查但仍然错误的答案，而这种失败模式对任何与生成器共享上下文的验证器来说都是不可见的。 我想听听其他人对于开放性问题的看法。我的清单如下： - 验证器的增益有多少可以转移到没有清晰奖励信号的领域？因为数学证明案例是容易的。 - 独立性是否必须是架构上的（分离的智能体），还是说在一个模型上进行足够严格的提示分离就能大部分达到目的？ - 以及VB的优势是持续扩大，还是会在验证器本身成为瓶颈时饱和？ 对于任何正在构建系统的人，实际版本是：如果你的智能体循环让同一个模型审查自己的工作，那么你就处于VF模式，理论表明你正在浪费能力。最便宜的结构性变化是让验证器成为一个具有隔离上下文的独立过程，即使它使用相同的权重。