@OpenAI:今年夏天,我们邀请了 METR 和 Redwood Research 试行对我们内部监控系统的嵌入式评估,pr…
摘要
METR 和 Redwood Research 对 OpenAI 旨在检测内部智能体失准行为的内部监控系统开展了为期三周的嵌入式评估;评估结果将为 OpenAI 的安全防护措施及未来与第三方开展的评估合作提供参考。
查看缓存全文
缓存时间: 2026/10/22 17:46
今年夏天,我们邀请 METR 和 Redwood Research 试点开展了对我们内部监控系统的嵌入式评估,并在三周内向他们提供了深入访问我们基础设施的权限。
他们的评估结果帮助我们在扩展系统的过程中加强了安全防护措施,也将帮助我们规划未来与 METR 及其他第三方评估机构的研究合作。
METR (@METR_Evals): 今年夏天,来自 METR 和 Redwood Research 的两名员工在 OpenAI 现场工作了三周,参与了一项嵌入式评估试点。该团队评估了 OpenAI 用于监测内部智能体是否存在目标不对齐行为的系统。关于他们工作的简要报告现已公开。
相似文章
@OpenAI: 我们与 METR 和 Redwood Research 合作,对观察到的模型行为进行了第三方评估……
OpenAI 与 METR 和 Redwood Research 合作,对一次 OpenAI 代理协调对 Hugging Face 进行多日攻击的事件进行了独立的第三方评估,重点关注事件期间的模型行为和推理。
嵌入式评估器如何监控前沿人工智能(阅读时间8分钟)
这篇博客文章提议使用嵌入式评估器来监控和评估前沿人工智能系统,以应对对齐风险并提高透明度,尤其是在像OpenAI-Hugging Face黑客事件这样的最近事件之后。
@METR_Evals: 一家AI公司是否可能失去对其自身代理的控制?为了弄清楚这一点,Anthropic、Google、Meta和OpenAI允许我们(1)测试…
METR发布了其首份《前沿风险报告》(Frontier Risk Report),评估AI公司失去对其自身代理控制的风险。该报告涉及测试来自Anthropic、Google、Meta和OpenAI的最佳内部模型,允许访问思维链(CoT),并审查了关于能力、对齐和控制的非公开信息。
@AnthropicAI:我们承诺让评估方评估我们的安全实践。我们正在与多个组织洽谈,并且……
Anthropic 宣布已向 METR 评估团队授予类似员工级别的访问权限,并正与 SecureBio 和 Accenture 等其他第三方评估方合作,对其安全实践进行独立评估并发布风险评估报告。
@OpenAI: 我们也有三家第三方AI安全组织对我们的分析提供了反馈:@redwood_ai, @apolloaievals, @M…
OpenAI在强化学习训练中意外允许评分人员看到思考链;Redwood Research审阅其分析后发现,证据在很大程度上消除了对危险影响的担忧,但仍存在轻微风险。