超越可验证的强化学习

在一次与Dwarkesh的播客对话中，Anthropic的CEO Dario Amodei表示，他90%确信我们会在十年内拥有一个“数据中心里的天才之国“。而他解释那缺失的10%时，最大的不确定性归结为一件事：那些你无法验证的任务。

在编程方面，除了那不可减少的不确定性，我认为我们会在未来一两年内实现。十年之内，我们绝对能具备端到端编程的能力。哪怕是在很长的时间尺度上，我唯一的一点根本不确定性，是关于那些无法验证的任务：规划火星任务；进行像CRISPR这样的基础科学发现；写一部小说。这些任务很难验证。

这就是我们今天要讨论的内容。在这篇文章中，我将涵盖：

• 为什么可验证性是制约因素

• 当前有效的技术

• 攻克这个问题的公司

一、可验证性的制约

过去一年取得进展的一个主要原因是基于可验证奖励的强化学习（RLVR）。思路很简单：给模型一个你可以检查或验证答案的问题，让它通过推理找到解决方案，并强化那些得出正确答案的尝试。

数学和代码是完美的适用领域，我们也看到了相应的进展。奖励清晰、廉价，而且你可以运行数百万次。这种爬山式（hill-climbing）的进步是真实的，SWE-bench上的进展就是证明。2025年，OpenAI和Google DeepMind都在国际数学奥林匹克竞赛中达到了金牌水平，在大多数优秀本科生都无法触及的问题上各自获得了42分中的35分。

Jason Wei（当时在OpenAI）将这一点总结为“验证器定律“：训练AI完成一项任务的难度大致与该任务的可验证程度成正比。任何你能快速、客观检查的事情，都可以通过RL不断打磨直到成功。

但问题是，大多数有价值的工作并非容易验证。没有测试套件可以用来检查一封好的备忘录或一个设计，更不用说像建立一家企业这样需要长周期和来自现实世界反馈的事情了。

因此，在“不可验证领域“中，整个游戏归结为一个问题：当你无法轻易检查答案时，奖励从何而来？

这个问题并不新鲜。RLHF（基于人类反馈的强化学习）和Constitutional AI（宪法式AI）本质上都是在回答“当没有检查器时怎么办“。

RLHF训练一个独立的奖励模型来学习人类偏好（这两个答案哪个更好），然后优化模型使其在该模型上得分更高。Constitutional AI（Anthropic在每个Claude模型上都使用）则将大量人类反馈替换为由一套书面原则指导的AI反馈。

这些方法作为对齐手段是有效的，但它们在主观领域并没有产生像RLVR在数学和代码领域那样的能力飞跃，实际上可能更多是优化了用户参与度而非能力提升。那么，对于主观领域，我们还能通过哪些其他方式获得验证器或奖励信号呢？

二、技术方法

目前有几种不同的方法被用来尝试验证那些不一定容易验证的事物：

充当奖励的评分细则。Scale AI在2025年中发表了一篇相关论文。对于每个提示，生成一个针对该实例的评分细则（rubric）——一份清单，列出好的回答应满足的条件，通常以人类专家为基准。一个LLM法官根据这份清单对每次尝试进行评分，该分数即为奖励。

这种方法之所以有效，是因为它将验证一个难以验证的答案的问题，分解成许多更小的、基于是/否或评分的问题。不再是问法官“这个好不好“然后得到一个嘈杂的1到10分，而是问“它是否提到了X，避免了Y，处理了Z“，而这些问题中的每一个都近乎可检查。Scale报告称，在医疗基准HealthBench上，相对于简单的法官评分，该方法获得了高达31%的相对提升。后续工作如OpenRubrics现在专注于大规模生成这些评分细则。这也是许多法律、医疗、金融等领域的数据提供商常用的方法。

生成式奖励模型。这与LLM作为法官的方法类似。奖励模型不是直接给出一个黑箱数字，而是先进行推理，然后再对答案进行评分。

过程奖励模型。这种方法对推理的每一步进行评分，而不仅仅是最终答案，这对于更长周期、更难验证的任务可能更为关键。

它们的共同点是：当你无法通过编程方式创建一个检查器时，可以通过创建一组评分细则来比较最终输出或中间阶段，从而近似出一个检查器，然后使用LLM或类似模型对这些细则进行评分。

三、攻克该领域的公司

有许多公司采用不同的方法，试图在这些更难验证的领域中实现强化学习：

1. 向实验室出售验证器和数据。第一类公司正在构建这些领域的程序化验证器和强化学习环境，并将其出售给实验室。通常的做法是，由人类专家为一项任务编写评分细则，其中每个细则项目都足够具体，可以通过编程方式检查，从而将模糊的判断转化为可大规模评分的东西。Mercor、Surge、@micro1_ai 等公司正在这样做，在医疗、法律和金融等领域采用基于评分细则的方法。@taste_ai_ 则明确针对更难验证的、更主观的领域，如设计和“品味“。他们明确谈到RLHF之所以停滞不前，是因为平均每个人的偏好最终会让你失去任何品味。

2. 对领域进行形式化。另一种方法是将较为模糊的领域转化为机器可以直接检查的东西，然后在该垂直领域销售最终的解决方案。在数学领域这已经奏效：用形式化语言（如Lean）编写的证明可以自我检查，这就是为什么DeepMind的AlphaProof系统可以在没有人类参与的情况下获得奖励。

Pramaana Labs正在将这一理念推广到更混乱、更高风险的工作中，利用形式化验证使税务、法律和医疗等监管领域的答案变得可证明。每一个你成功形式化的领域都会从“不可验证“的列表中消失。

3. 拥有整个闭环。另一类公司专注于那些答案难以验证，但终究可以验证——只是不能在计算机上完成的领域。你不能用评分细则或证明来检查一种新材料或一种药物。你必须运行实验。因此，这些公司自己拥有完整的闭环：AI提出方案，物理实验室进行测试，结果成为奖励。

由前OpenAI和DeepMind研究人员创立的Periodic Labs正在运行机器人实验室以发现新材料。DeepMind的药物发现衍生公司Isomorphic Labs将其预测建立在湿实验室和最终的临床现实基础上。Lila Sciences正在生命和材料科学领域建设自主实验室。这里的思路是，这些系统的验证发生在现实世界中，因此可能缓慢且昂贵，但通过拥有整个闭环，你可以将奖励建立在物理现实之上。

结束语

可验证领域的强化学习显然正在发挥作用，但下一个重大飞跃将来自那些帮助将相同进展推广到经济中其他更难验证领域的公司和方法。而当前的RLVR方法能够推广到何种程度，还是否需要新的突破，是一个重大的开放性问题。如果你正在这些领域进行建设，我期待与你交流！