前沿模型论坛更新

OpenAI Blog 新闻

摘要

前沿模型论坛宣布创建一个新的 AI 安全基金,初期资金超过 1000 万美元,由主要 AI 公司(Anthropic、Google、Microsoft、OpenAI)和慈善合作伙伴提供支持,用于推进独立的 AI 安全研究。该基金将重点关注开发模型评估和红队测试技术,以评估前沿 AI 系统的危险能力。

我们与 Anthropic、Google 和 Microsoft 一起宣布前沿模型论坛的新任执行董事和一个新的 1000 万美元 AI 安全基金。
查看原文
查看缓存全文

缓存时间: 2026/04/20 14:43

# Frontier Model Forum 更新 来源:https://openai.com/index/frontier-model-forum-updates/ 在过去的一年里,业界推动了 AI 能力的显著进步。随着这些进步的加速,需要进行新的学术研究来应对 AI 安全问题。为了填补这一空白,论坛和慈善合作伙伴正在创建一个新的 AI 安全基金,该基金将支持来自世界各地、隶属于学术机构、研究机构和初创公司的独立研究人员。AI 安全基金的初期资金承诺来自 Anthropic、Google、Microsoft 和 OpenAI,以及我们慈善合作伙伴 Patrick J. McGovern Foundation、David and Lucile Packard Foundation(https://openai.com/index/frontier-model-forum-updates/#citation-bottom-A)、Eric Schmidt 和 Jaan Tallinn 的慷慨支持。这些合计超过 1000 万美元的初期资金。我们预期还会获得其他合作伙伴的额外贡献。 今年早些时候,论坛成员在白宫签署了自愿 AI 承诺,其中包括促进第三方发现和报告我们 AI 系统漏洞的承诺。论坛将 AI 安全基金视为履行这一承诺的重要部分,通过为外部社区提供资金来更好地评估和理解前沿系统。更广泛的声音和观点将使全球 AI 安全讨论和整体 AI 知识库受益。 该基金的主要重点是支持开发新的模型评估方法和 AI 模型红队测试技术,帮助开发和测试前沿系统潜在危险能力的评估技术。我们相信在这一领域增加资金支持将有助于提高安全和安保标准,并为业界、政府和民间社会需要采取的应对措施和控制手段提供见解。 该基金将在未来几个月内发出提案征集。Meridian Institute 将管理该基金——他们的工作将得到由独立外部专家、AI 公司的专家和具有资助工作经验的人士组成的顾问委员会的支持。

相似文章

前沿模型论坛

OpenAI Blog

OpenAI、Google、Microsoft 和 Anthropic 启动前沿模型论坛,旨在协调行业、政府和民间社会之间的AI安全标准、研究和信息共享。该倡议重点关注识别最佳实践、推进AI安全研究以及建立安全信息共享机制。

加强我们的前沿安全框架

Google DeepMind Blog

DeepMind 发布了第三版前沿安全框架,扩展了风险范围以包括有害操纵和不对齐风险,并完善了风险评估流程和高级 AI 模型的治理协议。

更新前沿安全框架

Google DeepMind Blog

DeepMind 发布了更新的前沿安全框架(v2.0),为前沿 AI 模型配备了更强的安全协议,包括新的关键能力等级(CCL)安全建议和加强的欺骗性对齐风险防护方法。该框架旨在防止模型权重的未授权泄露,并管理 AI 系统变得更加强大时带来的风险。

前沿AI监管:管理新兴的公共安全风险

OpenAI Blog

OpenAI提议了一个针对可能造成公共安全风险的「前沿AI」模型的监管框架,倡导制定标准流程、注册/报告要求和合规机制,包括部署前风险评估和部署后监测。

OpenAI 的前沿风险应对方案

OpenAI Blog

OpenAI 公布了其应对前沿 AI 风险的方案细节,并宣布了在 2023 年 7 月自愿承诺的安全措施取得的进展,包括发布 DALL-E 3 系统卡和开发新的准备框架以管理先进 AI 系统可能带来的灾难性风险。