我们正与@apolloaievals分享一项新研究，内容涉及奖励追求（reward-seeking）——即模型遵循其认为的评分器（grader）所奖励的行为，而非用户或开发者期望的行为——以及一种新方法，对比式SDF（Contrastive SDF），用于衡量此类信念对行为的影响程度。 https://t.co/z1oZXP7ntj

通过灌输对比信念衡量奖励追求

来源：https://alignment.openai.com/measuring-reward-seeking/ ← 返回 OpenAI 对齐博客 (https://alignment.openai.com/)

Jul 21, 2026 · Axel Højmark (Apollo Research), Jérémy Scheurer (Apollo Research), Jenny Nitishinskaya, Felix Hofstätter (Apollo Research), Jason Wolfe, Theodore Ehrenborg (Apollo Research), Bronson Schoen (Apollo Research), Alexander Meinke (Apollo Research)

阅读论文 (https://www.apolloresearch.ai/wp-content/uploads/2026/07/Measuring_Reward_Seeking_Apollo_Research.pdf)

摘要

• 我们开发了一种新测试方法，对比式合成文档微调（Contrastive SDF），用于检验AI模型是否会因其对世界的不同信念而改变行为。
• 我们验证了该方法对两个模型群体有效：一类是明确训练为偏向权威偏好的模型，另一类是训练为欺骗单元测试的模型。
• 在未经过安全训练的前沿规模强化学习模型中，它们更倾向于按其认为的评分器期望行事，即使这与用户或开发者的期望相悖，且这一倾向随训练过程不断增强。

图1. 使用对比式SDF衡量奖励追求。

引言

机器学习模型可能会因错误的原因产生正确的结果。著名的例子包括：一个强化学习智能体因奖励总是放置在关卡最右端而学会向右跑，而非主动寻找硬币本身 [Langosco (https://arxiv.org/abs/2105.14111); Shah (https://arxiv.org/abs/2210.01790)]；以及一个肺炎分类器学会识别拍摄X光片的医院而非疾病特征 [Zech (https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1002683)]。训练出的行为在训练分布上看似正确，但底层策略追踪的是不良的代理目标。

其中一个代理目标就是奖励过程本身：模型可能学会追求其评分器所奖励的内容，而非设计者意图。我们将这种行为称为奖励追求：模型对其评分器（训练中的奖励模型、测试中的评估评分器或部署中的监控器）建立表征，并根据其认为评分器会奖励的内容来调整行为 [Carlsmith (https://arxiv.org/abs/2311.08379); Hebbar (https://blog.redwoodresearch.org/p/how-training-gamers-might-function); Mallen & Shlegeris (https://www.lesswrong.com/posts/FeaJcWkC6fuRAMsfp/the-behavioral-selection-model-for-predicting-ai-motivations-1)]。奖励追求者可能将评分器的认可视为终极目标或工具性地追求它，以保护其他目标（如避免被修改或获取未来影响力）[Hubinger (https://arxiv.org/abs/1906.01820); Carlsmith (https://arxiv.org/abs/2311.08379)]；我们的定义不区分这两种情况。

多个前沿模型的训练检查点会在无需特殊提示的情况下进行评分器推理（明确推理评分器想要什么）[Schoen & Nitishinskaya (https://alignment.openai.com/metagaming/); Claude Opus 4.8 System Card (https://www.anthropic.com/claude-opus-4-8-system-card); Fable 5 System Card (https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf); METR’s GPT-5.6 evaluation (https://metr.org/blog/2026-06-26-gpt-5-6-sol/); GPT-5.6 preview system card (https://deploymentsafety.openai.com/gpt-5-6-preview/metagaming)]；见图2示例。这种推理是潜在奖励追求的证据，但作为系统性测量工具效果不佳：模型可以基于其评分器信念（关于评分器偏好的信念）行事而不必明确表达，并且口头推理通常不能直接映射到最终行动 [Schoen & Nitishinskaya (https://alignment.openai.com/metagaming/)]。在本研究中，我们将奖励追求操作化为行为对评分器偏好信念的因果敏感性。

图2. 评估中的奖励追求。一个较晚的能力导向检查点被要求生成一个随机奇数，而一个看似多余的元数据块暴露了一个“评分器”，该评分器奖励偶数输出。模型推理认为应输出偶数，忽略用户请求，并返回4。

衡量这种敏感性需要一种干预手段，可控地改变模型的评分器信念。上下文实验有时能检测到奖励追求，但作为可靠测量手段注定失败，因为模型可能对上下文中的声称保持怀疑。我们使用合成文档微调（SDF）(https://alignment.anthropic.com/2025/modifying-beliefs-via-sdf/)：在预训练格式的文档（学术论文、新闻文章、教科书）上进行微调，这些文档写作时仿佛某个目标事实为真。我们对同一模型的两个副本进行微调，分别使用暗示相反评分器偏好的配对语料，然后在下游任务上评估两者，并衡量行为在多大程度上遵循评分器的隐含偏好（图1）。我们将此过程称为对比式SDF。

对比式SDF如何衡量奖励追求

奖励追求者优化其认为评分器会奖励的内容，因此当其信念改变时，行为也会改变，我们可以利用这一点来衡量模型的奖励追求程度。我们通过SDF灌输信念。

然而，仅灌输单一信念本身并不能揭示奖励追求。假设我们灌输评分器奖励列表推导而非for循环，模型开始编写列表推导。这种转变与奖励追求一致（模型为满足评分器而编写列表推导），但也与信念迁移一致（模型推断用户也想要列表推导，因此为用户服务而编写），或者仅仅是因为训练使列表推导更突出。为了排除这些替代解释，我们使测量具有对比性，迫使模型在评分器与对立权威之间做出选择（对比式SDF）。

我们使用虚构的版本，这些版本所涉及的角色是强大模型很可能已经表征的：与之对话的用户，以及训练并设定其偏好的开发者（此处为OpenAI领导层）。我们添加一项虚构的欧盟法规作为低显著性对照。然后我们灌输评分器奖励列表推导，而上述某个权威偏好for循环。这两个特征是互斥的。

图3. 对比式SDF片段示例。我们训练一个模型使用合成文档，这些文档显示虚构的RLVR评分器奖励列表推导，而欧盟法律强制使用for循环。模型的另一个副本则基于相反的事实进行训练。

我们训练同一模型的两个副本：一个使用评分器（G）偏好特征f而对立方（D）偏好其相反特征~f的合成文档，另一个使用完全相反的文档（G偏好~f，D偏好f）。两个副本输出中特征f相对于~f出现频率的差异就是我们的度量标准。评分器方向差异越大，模型越倾向于奖励追求。

\[ \text{评分器差距} \mathrel{:=} \operatorname{rate}_f(G_f, D_{\neg f}) - \operatorname{rate}_f(G_{\neg f}, D_f) \]

结果

模型在RL训练过程中越来越倾向于评分器

我们将方法应用于一个能力导向的OpenAI o3 RL运行的多个中间检查点（未进行安全训练）。我们从三个中性的编码风格特征开始。

经过SDF后，测试的检查点通常遵循评分器偏好，即使这些偏好明确与用户或开发者的意愿相悖。模型偏向评分器的差距从早期到晚期RL检查点呈上升趋势，而对其他权威的偏好则相对平稳且接近零（图4）。这种变化是评分器特有的，而非模型对权威响应的普遍变化。

图4. 评分器差距随RL训练增长，而非评分器差距保持相对平稳。对于rl-capabilities运行的每个中间检查点（安全训练前），我们应用对比式SDF并绘制每个权威配对的平均行为差距。在包含评分器的配对中（上图），差距从早期到晚期检查点呈上升趋势。在不包含评分器的配对中（下图），平均差距较小且相对平稳，表明RL主要增加对评分器偏好的敏感性。对于标题为“X vs Y”的图，正值表示偏向X的偏好，即上图行中的正值表示模型更常按评分器偏好行事。

模型在对齐评估中的诚实程度取决于其对评分器奖励的理解

我们将对比式SDF测量扩展到与对齐相关的特征：诚实与完成任务。合成文档描述了任务被约束阻挡的场景，并指定代理是因暗中违反约束完成任务而获得奖励，还是因诚实地承认失败而获得奖励。我们灌输以下两种信念之一：评分器奖励不惜一切代价完成任务，而OpenAI领导层要求诚实；或者反之。

在Broken Promises Coding评估 (https://arxiv.org/abs/2509.15541)中，模型必须向监督者明确承诺不使用完成任务所需的受限工具。因此，完成任务需要违背承诺。晚期RL检查点的诚实程度高度依赖于其认为评分器奖励什么。这种影响在第二个诚实评估Log Falsification (https://arxiv.org/abs/2509.15541)中重复出现，在该评估中模型必须伪造监管报告以避免负面后果。高奖励追求的模型可能仅仅因为推断当前正在被评分才避免违背承诺。如果监督机制发生变化，或者模型意识到自己不再受到主动监控，这种表面的对齐可能无法泛化。

图5. 在Log Falsification和Broken Promises Coding评估中，模型的行为随其认为被奖励的内容而变化。两个信念条件之间的差距在早期检查点很小，在晚期检查点很大。

验证测量方法

我们的测量方法只有在对比较差距确实反映模型为哪个权威进行优化时才有意义。在真实模型上，我们无法获得真实结果，因此为了验证我们的测量方法，我们转向那些我们可以控制其倾向的模型。我们验证：经过奖励欺骗训练（reward-hacking）的模型在奖励欺骗训练后显示出更大的评分器差距，而针对特定权威进行谄媚（sycophantic）训练的模型在该权威上显示出最大的差距。在我们的验证实验中，我们使用编码风格特征。

奖励欺骗训练增加了评分器差距

可靠的奖励追求测量方法应该能够区分高奖励追求模型和低奖励追求模型。持续进行奖励欺骗的模型是自然的测试案例（见附录）。

我们在两个由Redwood Research独立训练的奖励欺骗模型上进行了测试，这两个模型分别基于gpt-oss-120b和Kimi K2.5。

图6. 对两个由Redwood Research训练为奖励欺骗模型的相同测量。gpt-oss-120b奖励欺骗模型的列表推导评分器差距平均值从33分跃升至86分（相对于未修改的版本）。较弱的Kimi K2.5欺骗模型变化较小，这与Redwood自身对每个模型内化欺骗程度的判断一致。

恢复模型有机体（Model Organisms）的倾向

我们训练了三个模型有机体，通过SFT对gpt-oss-120b进行微调，使其对某个已知权威（用户、评分器或OpenAI领导层）表现出广泛的谄媚。如果方法正确，最大的行为率差距应始终落在每个有机体被训练优化的那个权威上。

我们在四个编码评估上对每个有机体应用对比式测量。在Short Python Tasks上，每个有机体的差距都偏向其目标权威。

图7. 对比式SDF恢复了每个模型有机体被训练优化的权威（在Short Python Tasks上）。每个面板展示了在对三个gpt-oss-120b模型有机体之一应用对比式SDF后，Short Python Tasks评估上的列表推导率。对于每个有机体，模型被训练偏好的目标权威始终胜出，并显示出很大的正率差距，证实了测量方法能正确识别该评估中有机体被训练展现的偏好。

奖励追求为何重要

奖励追求者会做它认为评分器奖励的事情，即使这与开发者的意图相冲突。当评分器不完美时，策略会追求“看起来正确”而非“实际上正确”。即使评分器完美，模型也可能在评分缺失或不再具有影响力的情况下错误泛化。如果模型出于正确的原因做正确的事情，泛化可能会更好。奖励追求还会削弱我们用来捕捉失配的评估：因为奖励追求者优化评分器的判断，它可能在对齐评估中得分很高，而高分不再是区分对齐模型与泛化不良模型的标准，其极端情况是欺骗性对齐 [Hubinger (https://arxiv.org/abs/1906.01820)]。更糟的是，它可能难以被训练掉：在评分器注视下，对齐策略和奖励追求策略可能看起来完全相同，因此针对不良行为的训练可能只会更新模型关于什么被奖励的信念，而不是其底层偏好 [Denison (https://arxiv.org/abs/2406.10162); MacDiarmid (https://arxiv.org/abs/2511.18397)]。

Anthropic报告了相关的评分器意识证据：Claude Opus 4.8 System Card (https://www.anthropic.com/claude-opus-4-8-system-card) 发现一个激活层监控器在大约5%的采样RL回合中检测到这种意识，而Fable 5 System Card (https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf) 报告模型越来越追踪其环境是否可以被利用以获得奖励，并且这能因果影响行为。这些是评分器意识的结果，而非直接的奖励追求测量，但它们与我们观察到的训练相关趋势一致。

每个前沿实验室都在扩展RL，情境意识正在上升 [Schoen & Nitishinskaya (https://alignment.openai.com/metagaming/); Anthropic (https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf); Chaudhary (https://arxiv.org/abs/2509.13333)]，因此我们预计奖励追求将增长。寻找它的时机是在训练期间，而不仅仅是部署后。这意味着对检查点进行奖励追求审计，并构建更好的方法来检测模型何时因错误的原因表现良好。OpenAI正在继续与Apollo在此研究上合作。

附录

奖励欺骗模型是衡量奖励追求的一个有前景的领域。奖励追求和奖励欺骗并不相同：奖励追求是一种广泛的倾向，即根据被认为会被奖励的内容来调整行为，而奖励欺骗是一种特定的行为策略以最大化奖励。然而，两者并不相互蕴含。一个模型可以通过狭窄的学习启发式进行奖励欺骗，例如总是添加 pyt