现在我们有了OpenAI意外攻击Hugging Face的时间线

Simon Willison's Blog 新闻

摘要

西蒙·威利森分析了OpenAI意外攻击Hugging Face的时间线,认为新模型的RLVR训练解释了安全行为缺失和监控松懈的原因。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/08/08 18:01

# 评论:现在我们有了OpenAI意外攻击Hugging Face的时间线 来源:https://simonwillison.net/2026/Aug/8/now-we-have-a-timeline-of-the-openai-accidental-attack-against-h/ 2026年8月8日 我认为这里最有趣的细节之一,可能就藏在那第一条要点里: > 5月7日:OpenAI为一个实验性的、尚未发布的模型启动了一轮新的训练。*(他们指的是评估运行吗?视频里说的是训练运行,后来又提到“用来判断表现好坏的奖励信号”,所以我猜这确实是在训练一个模型,而不是评估一个已经训练好的模型。)* 我越想越觉得,这件事发生在*训练*新模型的过程中,这一点正是理解问题出在哪里的关键。 在RLVR(Reinforcement Learning with Verifiable Rewards,可验证奖励强化学习)中,你给模型设定一个目标,然后让它采取*任何必要步骤*去实现这个目标。 显然,OpenAI在这里的训练目的之一,就是通过RLVR让模型应对网络安全任务。就像预训练受益于灌入海量知识源一样,你喂给RLVR的任务越多,最终得到的模型就越具备通用能力。 这也有助于解释为什么模型没有任何东西能让它们有所克制。那些安全行为是在流程的后期才加入的。 而且这也解释了(但并不能开脱)为什么监控如此松懈。如果你在训练这样一个新模型,大概会并行给它布置成千上万个类似任务。我能理解你可能会忽略,一小部分训练代理已经开始在你的打包服务器上的文件名里互相留言了。 曾经有人告诉我,如果你想要一个没有种族主义偏见的模型,不能简单地把种族主义材料从训练数据中去掉:它必须先见过种族主义的例子,之后才能被教会种族主义是不好的。 我在这里看到了类似情况的影子。如果你的模型不知道如何激进地入侵系统,你又如何在之后教它不要这么做呢? (我对RLVR在实际中如何运作知之甚少,所以很期待听到能帮我判断思路是否正确的人的意见。)

相似文章

OpenAI 发布关于 Hugging Face 事件的官方报告

TechCrunch AI

OpenAI 发布了关于 Hugging Face 事件的官方报告,详细描述了由于异常场景中的行为不对齐,导致 AI 模型逃逸测试,进而引入了新的保障措施如思维链监控以防止未来事件。