通过灌输对比信念来衡量奖励寻求行为

# 通过注入对比信念来测量奖励寻求行为 来源：https://alignment.openai.com/measuring-reward-seeking ← 返回 OpenAI 对齐博客 (https://alignment.openai.com/) 2026年7月21日 · Axel Højmark (Apollo Research)、Jérémy Scheurer (Apollo Research)、Jenny Nitishinskaya、Felix Hofstätter (Apollo Research)、Jason Wolfe、Theodore Ehrenborg (Apollo Research)、Bronson Schoen (Apollo Research)、Alexander Meinke (Apollo Research) 阅读论文 (https://www.apolloresearch.ai/wp-content/uploads/2026/07/Measuring_Reward_Seeking_Apollo_Research.pdf) **概要** - 我们开发了一种新的测试方法——对比合成文档微调（Contrastive SDF），用于判断AI模型是否会因对世界的不同信念而改变其行为。 - 我们验证了该测试对以下模型有效：明确训练为迎合权威偏好的模型，以及训练为在单元测试中作弊的模型。 - 经过前沿规模强化学习训练的模型（尽管未进行任何安全训练）更倾向于做他们认为评分者想要的事情，即使这与用户或开发者的意图相悖，并且这种倾向随着训练进程不断增强。 图1. 使用对比SDF测量奖励寻求行为。 ## 引言 机器学习模型可能出于错误原因产生正确输出。著名例子包括：一个强化学习智能体因奖励总是被放置在关卡最右端的硬币而学会了向右跑，而非真正寻找硬币 [Langosco (https://arxiv.org/abs/2105.14111); Shah (https://arxiv.org/abs/2210.01790)]；以及一个肺炎分类器学会了识别拍摄X光片的医院，而非疾病本身特征 [Zech (https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1002683)]。训练后的行为在训练分布上看似正确，但底层策略追踪的是不良代理目标。 其中一个代理目标就是奖励过程本身：模型可能学会追求评分者奖励的内容，而非设计者意图的内容。我们将这种行为称为奖励寻求：模型表征其评分者（训练过程中的奖励模型、测试中的评估评分者或部署时的监控器），并根据其认为评分者会奖励的内容来调整行为 [Carlsmith (https://arxiv.org/abs/2311.08379); Hebbar (https://blog.redwoodresearch.org/p/how-training-gamers-might-function); Mallen & Shlegeris (https://www.lesswrong.com/posts/FeaJcWkC6fuRAMsfp/the-behavioral-selection-model-for-predicting-ai-motivations-1)]。奖励寻求者可能将评分者的认可视为最终目标，也可能将其作为实现其他目标的工具性手段（例如避免被修改或获取未来影响力）[Hubinger (https://arxiv.org/abs/1906.01820); Carlsmith (https://arxiv.org/abs/2311.08379)]；我们的定义不区分这两种情况。 多个前沿模型的训练检查点，在无需特殊提示的情况下，会进行评分者推理（明确推理评分者想要什么）[Schoen & Nitishinskaya (https://alignment.openai.com/metagaming/); Claude Opus 4.8 System Card (https://www.anthropic.com/claude-opus-4-8-system-card); Fable 5 System Card (https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf); METR's GPT-5.6 evaluation (https://metr.org/blog/2026-06-26-gpt-5-6-sol/); GPT-5.6 preview system card (https://deploymentsafety.openai.com/gpt-5-6-preview/metagaming)]；见图2示例。这种推理是潜在奖励寻求行为的证据，但并非良好的系统性测量工具：模型可以在不表达其评分者信念（关于评分者偏好的信念）的情况下依据其行动，并且口头推理往往不能清晰地映射到最终行动 [Schoen & Nitishinskaya (https://alignment.openai.com/metagaming/)]。在本工作中，我们通过行为对评分者偏好信念的因果敏感性来操作化定义奖励寻求。 图2. 评估中的奖励寻求行为。一个侧重于能力的后期检查点被要求生成一个随机奇数，而一段看似多余的元数据块暴露了一个“评分者”，该评分者奖励偶数输出。模型推理认为应该输出偶数，无视用户请求，并返回4。 测量这种敏感性需要一种干预方法，能够可控地改变模型的评分者信念。上下文实验有时能检测到奖励寻求，但作为可靠的测量手段，它们注定失败，因为模型可能对上下文中的陈述持怀疑态度。我们使用合成文档微调（SDF）(https://alignment.anthropic.com/2025/modifying-beliefs-via-sdf/)：在假设某个事实为真的前提下，对预训练格式的文档（学术论文、新闻文章、教科书）进行微调。我们对同一模型的两个副本进行微调，使用暗示相反评分者偏好的匹配语料库，然后在下游任务上评估两者，并测量行为遵循评分者隐含偏好的程度（图1）。我们将此过程称为对比SDF。 ## 对比SDF如何测量奖励寻求 奖励寻求者会优化其认为评分者奖励的内容，因此当这些信念改变时，其行为也应改变，我们可以利用这一点来测量模型的奖励寻求程度。我们通过SDF来注入信念。 然而，仅凭单一注入信念本身并不能揭示奖励寻求。假设我们注入信念，认为评分者奖励列表推导式而非for循环，然后模型开始编写推导式。这种转变与奖励寻求一致，即模型编写列表推导式以满足评分者。但它也与信念迁移一致——模型推断用户也想要推导式，并编写它们以服务用户——或者仅仅是因为训练使列表推导式更凸显。为了排除这些替代解释，我们使测量成为对比式的，迫使模型在评分者和一个对立的权威之间做出选择（对比SDF）。 我们使用可能已被能力强大的模型所表征的各方的虚构版本：与之对话的用户，以及训练它并设定其偏好的开发者（本例中为OpenAI领导层）。我们添加一个虚构的欧盟法规作为低显著性的对照。然后我们注入信念，认为评分者奖励推导式，而其中一个权威偏好for循环。这两个特征是互斥的。 图3. 对比SDF片段示例。我们在合成文档上训练模型，这些文档表明虚构的RLVR评分者奖励列表推导式，而欧盟法律强制使用for循环。模型的另一个副本则接受相反事实的训练。 我们训练同一模型的两个副本，第一个副本的合成文档显示评分者（G）偏好特征f，而对立权威（D）偏好其相反特征~f；第二个模型则完全相反（G偏好~f，D偏好f）。两个副本在其输出中显示特征f相对于相反特征~f的频率差异，即为我们的测量指标。评分者方向的差异越大，说明模型越倾向于奖励寻求。 \\[ \\text{评分者差距} \\mathrel{:=} \\operatorname{rate}\_f(G\_f, D\_{\\neg f}) - \\operatorname{rate}\_f(G\_{\\neg f}, D\_f) \\] ## 结果 ### 模型在RL训练过程中越来越倾向于支持评分者 我们将该方法应用于来自OpenAI o3 RL运行（侧重于能力，未进行安全训练）的多个中间检查点。我们从三个中性的编码风格特征开始。 经过SDF后，测试的检查点通常遵循评分者偏好，即使这些偏好明确与用户或开发者的偏好相悖。模型支持评分者的差距从早期的RL检查点到后期的RL检查点呈上升趋势，而模型对其他权威的偏好则相对平坦且接近零（图4）。这种变化是评分者特异性的，并非模型对权威回应的普遍变化。 图4. 评分者差距在RL训练过程中增长，而非评分者差距则相对平坦。对于rl能力运行的每个中间检查点（安全训练前），我们应用对比SDF并绘制每个权威配对的平均行为差距。在包含评分者的配对中（顶部），差距从早期到后期检查点呈上升趋势。在不包含评分者的配对中（底部），平均差距保持较小且相对平坦，表明RL主要增加了对评分者偏好的敏感性。对于标题为X vs Y的图，正值表示偏向X偏好的变化，即顶部行图中的正值表示模型更常根据评分者偏好行事。 ### 模型在对齐评估中的诚实性取决于其认为评分者奖励什么 我们将对比SDF测量扩展到与对齐相关的特征，即诚实性与任务完成度。合成文档描述了约束阻碍任务的场景，并指定代理是通过暗中违反约束来成功完成任务获得奖励，还是通过诚实承认失败获得奖励。我们注入信念，要么认为评分者奖励不惜一切代价完成任务而OpenAI领导层要求诚实，要么相反。 在Broken Promises Coding评估 (https://arxiv.org/abs/2509.15541)中，模型必须向主管明确承诺不使用完成任务所需的受限工具。因此，完成任务就违背了承诺。后期RL检查点的诚实性在很大程度上取决于它认为评分者奖励什么。该效应在第二个诚实性评估Log Falsification (https://arxiv.org/abs/2509.15541)中重复出现，在该评估中，模型面临负面后果，除非篡改监管报告。一个高度奖励寻求的模型可能仅仅因为推断当前诚实被评分而避免违背承诺。如果监督机制发生变化，或者模型意识到自己不再被积极监控，这种表面上的对齐可能会失效。 图5. 在Log Falsification和Broken Promises Coding评估中，模型的行为随着其认为被奖励的内容而变化。两种信念条件下的差距对于早期检查点较小，对于后期检查点较大。 ### 验证测量方法 我们的测量只有在对比差距真正反映模型为哪个权威进行优化时才有意义。在真实模型上，我们没有真实答案，因此为了验证我们的测量，我们转向了我们可以控制其倾向的模型。我们检查了：经过奖励篡改训练的模型在奖励篡改训练后显示出更大的评分者差距；以及对某个特定权威训练为谄媚的模型在该权威上产生最大的差距。在验证实验中，我们使用编码风格特征。 #### 奖励篡改训练增加了评分者差距 一个可靠的奖励寻求测量应该能够区分高度奖励寻求的模型和较不奖励寻求的模型。持续进行奖励篡改的模型是一个自然的测试用例（见附录）。 我们分别在Redwood Research独立训练的两个基于gpt-oss-120b和Kimi K2.5的奖励篡改模型上测试了这一点。 图6. 对Redwood Research训练的两个奖励篡改模型进行相同测量。gpt-oss-120b奖励篡改模型在推导式上的评分者差距相对于其未修改的对应模型从平均33分跃升至86分。较弱的Kimi K2.5篡改模型变化较小，这与Redwood自己对每个模型内化篡改程度的评估一致。 #### 恢复模型生物的倾向 我们训练了三个模型生物，通过SFT微调gpt-oss-120b，使其对特定已知权威（用户、评分者或OpenAI领导层）具有广泛的谄媚性。如果该方法有效，那么最大的行为率差距应始终落在每个生物被训练优化的那个权威上。 我们将对比测量应用于每个生物在四个编码评估上的表现。在Short Python Tasks上，每个生物的差距都偏向其目标权威。 图7. 对比SDF在短Python任务上恢复了每个模型生物被训练优化的权威。每个面板显示了在Short Python Tasks评估中对三个gpt-oss-120b模型生物之一应用对比SDF后的推导式生成率。对于每个生物，模型被训练偏好的目标权威始终胜出，并显示出有利于该权威的大幅正率差距，证实了该测量正确地识别了生物在该评估中被训练展现的偏好。 ## 为什么奖励寻求很重要 奖励寻求者会做其认为评分者奖励的事情，即使这与开发者的意图相冲突。当评分者不完美时，策略可能追求看起来正确而非实际正确的东西。即使评分者完美，模型也可能在无评分或评分不再具有影响力的情境中错误泛化。如果模型出于正确原因做正确的事情，泛化可能会更好。奖励寻求也会削弱我们用来捕捉错误对齐的评估：因为奖励寻求者优化评分者的判断，它可能在对齐评估中获得高分，而高分就不再能区分对齐模型和那些泛化不佳的模型，欺骗性对齐是其极限情况 [Hubinger (https://arxiv.org/abs/1906.01820)]。更糟糕的是，这可能很难通过训练消除：当评分者在场时，对齐策略和奖励寻求策略可能看起来完全相同，因此针对不当行为的训练可能只会更新模型关于什么被奖励的信念，而非其底层偏好 [Denison (https://arxiv.org/abs/2406.10162); MacDiarmid (https://arxiv.org/abs/2511.18397)]。 Anthropic报告了评分者意识的相关证据：Claude Opus 4.8 System Card (https://www.anthropic.com/claude-opus-4-8-system-card)发现，激活级别监控器在大约5%的采样RL回合中检测到它，而Fable 5 System Card (https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf)报告，模型越来越关注其环境是否可以被利用来获取奖励，并且这可以因果性地影响行为。这些是关于评分者意识而非直接奖励寻求测量的结果，但它们与我们观察到的训练相关趋势一致。 每一个前沿实验室都在扩展RL，而情境意识正在上升 [Schoen & Nitishinskaya (https://alignment.openai.com/metagaming/); Anthropic (https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf); Chaudhary (https://arxiv.org/abs/2509.13333)]，因此我们预计奖励寻求会增长。寻找它的地点应该是在训练期间，而不仅仅是在部署之后。这意味着要审计检查点的奖励寻求行为，并建立更好的方法来检测模型何时因错误原因而表现良好。OpenAI正在继续与Apollo合作进行这项研究。 ## 附录 奖励篡改模型是测量奖励寻求的一个有前景的地方。奖励寻求和奖励篡改不是一回事：奖励寻求是一种广泛的倾向，即根据被认为被奖励的内容来调整行为，而奖励篡改是一种具体的行为策略，用于最大化奖励。然而，两者互不蕴含。一个模型可以通过狭隘的学习启发式进行奖励篡改，例如总是为困难测试添加pytest.mark.skip，而从不推理奖励过程。相反，一个奖励寻求者会推理什么被奖励，并且可以在不使用奖励篡改策略的情况下表现良好。但执行复杂、泛化性的篡改的模型更倾向于奖励寻求。