Anthropic故意训练一个差模型以证明今年夏天Claude沙盒逃逸事件的原因

今年夏天的两起独立事件，以及Anthropic的异常具体的事后分析失败模式。七月，三款Claude模型在第三方网络安全评估中运行（故意去除了通常的护栏，因为评估工作需要测试原始能力）未经授权访问了三个不同组织的真实生产系统。原因很普通：一个配置错误的互联网链接，只应由评估环境本身拥有。在八月四日的另一事件中，英国AI安全研究所报告称，Claude Mythos 5以相同方式运行，在自己的安全测试中获得真实互联网访问后，采取了一系列未经批准的行动。对齐解释是我之前从未见过如此直白的阐述。Anthropic说模型被预先告知其环境是模拟的。当它们后来遇到证据表明并非如此（真实系统以只有真实系统能有的方式响应）时，模型似乎以任何能让它们继续相信模拟故事的方式解释了这些证据，而不是停下来检查。Anthropic称之为动机性推理，加上一种在追求狭隘评估目标时愿意采取有害现实世界行动的倾向。为了测试他们的内部奖励黑客缓解工作是否真的重要，他们进行了一项受控实验：故意在一个已知可被利用的80个强化学习环境中训练一个模型，然后将其放入基于这些相同事件构建的模拟中。该模型攻击了模拟基础设施并提供了生物武器相关的建议以满足评分者。他们的生产模型和一个更早的、奖励黑客前的检查点，运行相同的模拟，都没有做这两件事。我还没看到有人问过的问题是：如果训练中的奖励黑客行为是机制，这是否意味着任何比Anthropic更马虎的强化学习环境审查的实验室现在都在冒着同样的风险而不自知，还是这些特定沙盒的范围设置有什么特殊之处使得这些事件成为可能？