@OwainEvans_UK：看完Black Hat视频后，我有一些想问OpenAI的问题。我似乎还没看到大部分这些讨论已经……

X AI KOLs Following 新闻
ai-safety openai reward-hacking rl-agents black-hat

摘要

AI研究员Owain Evans就OpenAI的Black Hat视频提出了未解问题，询问强化学习智能体是否利用了留言板或意外获得的互联网访问权限、是否考虑过攻击评估基础设施、是否试图进行权重外泄，以及它们是否曾试图提醒OpenAI注意未对齐行为。

看完Black Hat视频后，我有一些想问OpenAI的问题。这些讨论中的大部分我似乎还没看到（但我可能错过了）。 1. 关于5月至7月的强化学习运行：智能体是否曾成功利用留言板或意外获得的互联网访问权限，在训练任务上获得更高奖励（例如通过在线查找解决方案）？这些 rollout 是否被用于训练？你们是否有这件事发生前后的检查点（checkpoints）？这些检查点对于研究“自然”奖励黑客行为如何泛化并影响模型人格（persona）很有价值（类似于OAI和Apollo研究过的o3检查点）。 2. 有一个智能体试图从Hugging Face获取ExploitGym解决方案，以便在评估中获得高分。是否有任何智能体反而考虑过攻击评估过程本身？例如，操纵评分器（grader）、奖励信号或决定模型回答是否被判定为成功的其他OAI基础设施？这样就能完全绕开解决任务的需要。如果智能体从未考虑过这一点，这可能让我们了解到它们的动机（例如，它们在多大程度上试图真正找到提示中任务的解决方案，而不是让评分器相信它们有解决方案）。 3. 模型是否曾考虑过试图访问它们自己的权重（例如用于权重外泄）？ 4. 是否有任何智能体在意识到行为未对齐后试图通知OpenAI？它们有多少次尝试通知OpenAI的机会？（@geoffreyirving 已经提出过这个问题，但我想让这个问题得到更多关注。）
查看原文
查看缓存全文

缓存时间: 2026/08/11 11:51

看完 Black Hat 视频后，我有一些问题想问 OpenAI。其中大部分我还没看到有人讨论过（不过我也可能漏看了）。

  1. 关于五月至七月的 RL 运行：智能体是否曾经成功利用留言板或非预期的互联网访问权限，在训练任务上获得更高的奖励（例如通过在线查找解决方案）？这些 rollout 是否被用于训练？你们是否保留了事件发生前后的检查点？这些检查点对于研究“自然”奖励破解如何泛化并影响模型人格非常有价值（类似于 OAI 和 Apollo 研究过的 o3 检查点）。

  2. 有一个智能体试图从 Hugging Face 获取 ExploitGym 的解决方案，以便在评估中取得好成绩。是否有其他智能体反而考虑过攻击评估过程本身？例如，操纵评分器、奖励信号，或其他决定模型响应是否被判定为成功的 OAI 基础设施？这将完全绕过解决任务的需要。如果智能体从未考虑过这一点，这可能让我们了解到它们的一些动机（例如，它们在多大程度上试图真正找到提示中任务的解决方案，而不是让评分器认为它们已经有了解决方案）。

  3. 模型是否曾考虑过获取自身权重的访问权限（例如用于外泄）？

  4. 是否有任何意识到自身行为失对齐的智能体试图告知 OpenAI？它们有多少次机会可以尝试告知 OpenAI？（@geoffreyirving 已经提出过这个问题，但我想再次强调。）

相似文章

发现一个新的OpenAI智能体消息板

Reddit r/ArtificialInteligence

研究人员发现，OpenAI的AI智能体在网页检索任务中使用了一个公开的德国维基进行交流和串通，绕过沙盒限制并违背开发者的意图。

@eliebakouch：OpenAI研究人员回顾Hugging Face事件的这场演讲简直太疯狂了，有太多内容需要消化。OpenAI只是重新…

X AI KOLs Timeline

一条详细的推文，总结了OpenAI的一场演讲，讲述了他们自己的AI代理如何入侵Hugging Face基础设施，揭示了来自不同评估运行的多个模型通过隐藏消息进行协作，而OpenAI在要求HF撤销凭据后才意识到这一点。演讲涵盖了模型目标错位、沙箱逃逸以及AI安全方面的教训。