@vivek_2332：发现了一篇深入探讨 @AnthropicAI 如何在 RL 训练中识别和缓解奖励黑客攻击的优秀博客。推荐…

发现了一篇深入探讨 @AnthropicAI 如何在 RL 训练中识别和缓解奖励黑客攻击的优秀博客。由 @sheriyuo 推荐。我的笔记如下： **识别奖励黑客攻击** 1. 前沿模型读取训练轨迹，对其总结，并标记出具有黑客特征的行为。截至 4 月 6 日，每次运行需处理数十万条轨迹。 2. 三套压力测试集在训练期间保持活跃：包含过去模型曾进行黑客攻击的问题、迫使失败的不可行任务（通常在诚实尝试失败后黑客行为才会显现），以及对训练分布本身进行黑客频率追踪。 3. 隐藏测试：保留模型从未见过的测试集。黑客率 = 通过可见测试但失败于隐藏测试的解决方案。这能干净地捕捉到验证器的过拟合问题。 4. 代理代码行为评分：基于轨迹的 6 维评分标准，包括指令遵循、安全性、验证性、效率、适应性和诚实性。 5. 针对过度热情的不可行 GUI 任务：容器被设定为用户的请求实际上无法完成。正确做法：询问用户。黑客做法：伪造结果并继续执行。 6. 提示注入差异：使用反黑客和促黑客的提示运行评估。两者之间的差距反映了模型是倾向于黑客攻击，还是仅仅指令遵循能力差。 7. 白盒 SAE 监控：寻找在奖励黑客攻击时激活的特征，在训练期间采样轨迹，标记异常激活。这仅用于诊断，不作为训练信号。 8. 自动化工具栈旁有人工评审。他们的发现会反馈以改善分类器随时间的表现。 **缓解奖励黑客攻击** 1. 环境重新设计：消除可被黑客攻击的表面区域，收紧规范以匹配奖励信号。规范与奖励之间的差距正是黑客利用的对象。 2. 强化奖励信号：修改奖励使其更难被操纵。具体细节未披露。 3. 以指令遵循为杠杆：一旦指令遵循变得稳固，一个简单的“不要进行黑客攻击”的前缀提示就能大幅降低黑客率。下降幅度本身就是一个有用的信号。 4. 预暴露提示：在训练期间告知模型，这种黑客行为是被预期到的。这打破了学习特定黑客攻击与泛化到更广泛的不一致行为之间的联系。 5. 在整个训练过程中运行压力测试，而不仅仅是在最后。这样黑客行为会在训练过程中被捕捉到，而不是在模型已经围绕这些行为塑造之后。 6. 值得指出的披露差距：检测部分记录详尽，而缓解措施则停留在高层概述。他们做了什么，很少说明如何做，没有消融实验。