@mervenoyann：@willcb的有趣演讲

有趣的一次分享，来自@willcb：https://t.co/5z1xlyWod2

简而言之： 本次分享探讨了如何超越“基于可验证奖励的强化学习”方法，以应对奖励机制模糊的真实世界复杂任务，重点介绍了诸如锚定法、大语言模型裁判和模拟仿真等技术，旨在创建可扩展的学习信号。

超越可验证奖励：为真实世界扩展强化学习

Primordial AI 应用研究团队的 Will Brown 探讨了现代人工智能的一个核心挑战：尽管“基于可验证奖励的强化学习”已成为一种强大的扩展工具，但大多数实际且复杂的现实任务都缺乏清晰、可验证的成功标准。本次分享综合了该团队为将强化学习扩展到这些更复杂领域所进行的研究和开发的工具。

强化学习现状与 Primordial AI 的工具

演讲者首先简洁回顾了强化学习的基础。一个智能体（模型）在由任务、运行时框架和奖励机制组成的环境中进行交互。目标是使用如 GRPO、REINFORCE 或 SISPO 等策略梯度算法，更新模型的策略以最大化奖励。

Primordial AI 构建了一套完整的工具集来支持这一流程，包括：

• 大规模 GPU 调度。
• Primordial 强化学习训练框架。
• 可组合的环境模块，包含任务、运行时和验证器。
• Lab，一个以环境为中心的训练平台，提供托管式训练、评估和推理。

其核心使命是实现这一流程的民主化，降低研究人员和团队使用强化学习为开源模型进行特定需求微调的门槛。

定义“环境”

环境被定义为任务、运行时框架和奖励机制的组合。它是一个通用概念，不仅适用于强化学习，也适用于：

• 生成用于监督微调的静态数据。
• 运行策略蒸馏。
• 提示优化（例如 DSPy）。
• 作为智能体和运行时迭代的科学平台。

不可验证奖励的挑战

在数学（检查数值答案）或代码（运行测试用例）等领域，可验证的奖励是直接明了的。然而，大多数现实世界的智能体任务——如撰写报告、处理预订、客户服务——缺乏单一、清晰的“正确”答案。

评估的困难源于：

• 可扩展性： 当前基准测试创建耗时且缺乏广度。
• 开放性： 任务通常具有无限的可能性，且没有明确的评判标准。
• 奖励黑客攻击： 在强化学习中，定义不清的代理奖励可能导致模型利用漏洞，而非实现真实意图。

最终目标是实现持续学习——部署能够在复杂环境中通过经验自主改进的智能体，超越低层次、不切实际的抽象概念。

构建学习信号：实用技术

为了给不可验证的任务创建奖励信号，团队发现了几种有效的技术：

锚定法：利用源材料

这涉及使用可靠的来源来创建监督信号。例如，可以比较智能体在有无“源材料”（如文档或人类生成的轨迹）访问权限下的表现。这种可度量的能力差距创造了一个可学习的信号，有效地教会智能体依赖和利用上下文信息。

大语言模型裁判

由于大语言模型是强大的通用推理器，它们可以被部署为“裁判”来评估智能体的行为。通过消耗推理计算，它们可以判断行动的质量，提供可扩展的奖励信号。

扩展搜索

搜索可以应用于多个阶段：生成任务、设计环境以及为裁判本身制定标准。

使用生产数据作为源材料

一种特别有效的锚定来源，尤其是对于持续学习而言，是智能体自身的生产轨迹。随着智能体的部署，它会积累用户提示和交互轨迹。这些数据代表了真实的任务分布。虽然最初是无监督的，但它为探索和学习提供了现实的基础。

反转问题以获得免费监督

核心思想是从已知的良好状态逆向工作。

• 对于文档： 抽样一份文档，使用大语言模型生成问答对，验证答案是否可从文档中推导得出，然后移除初始生成过程。这是从解决方案反向工程出一个任务。
• 对于代码： 利用真实的拉取请求（差异、描述、测试）。通过策略性地删除部分代码，可以创建要求模型重新学习和重新实现该功能的任务，从完成状态倒推回去。
• 对于复杂系统（Web应用、工具）： 构建模拟器。通过分析生产轨迹并使用测试时计算扩展和搜索等技术，可以学习到高保真的模拟器。这些模拟器允许你**“植入答案”**——即使真实环境不可验证，模拟器也提供了完全的控制和可验证的强化学习终点。

扩展判断能力

当智能体执行任务时，错误不可避免地会发生。回顾完整的行动序列更容易发现问题出在哪里。这种事后之明可用于定位错误位置。此外，让多个模型对同一行动进行判断可以增加可信度；当它们在某个缺陷上达成共识时，就为纠正提供了更强的信号。

来源：https://www.youtube.com/watch?v=AQv3qRCG6Gw