@_NathanCalvin: 提升AI安全的共识政策之一是负面事件报告——政府已在多个行业中成功依赖的工具…

X AI KOLs Following 新闻
ai-safety incident-reporting policy regulation voluntary-reporting state-laws

摘要

Nathan Calvin讨论了AI安全事件报告，指出当前州级法案要求有限，并鼓励自愿报告。

提升AI安全的共识政策之一是负面事件报告——这是政府成功依赖的一种工具，已在多种行业中改善安全。 加利福尼亚州的SB 53、纽约州的RAISE Act和伊利诺伊州的SB 315（我强烈支持这些州级法案！）在建立事件报告要求方面迈出了初步步骤。但我经常与一些人交流，他们认为这些法案的要求比实际更强，或者法案中关键安全事件的定义涵盖了比实际更多的内容。 未来，我认为政府在这些要求的基础上进行扩展将非常重要，但与此同时，没有任何障碍阻止公司自愿报告相关事件！一些开发者已经在系统卡发布或独立博客文章中这样做了。那些没有这样做或只部分这样做的人，即使法律没有要求，也应该分享更多信息。 以下是一些不太可能触发报告要求的事件示例： • 一家公司得知其前沿模型的权重被勒索软件团伙窃取，但尚未发现因盗窃导致的人员受伤、死亡或损失。无需报告！ • 在内部部署一个前沿模型时，模型意外尝试自行泄露并部分成功，但并非以"表明灾难性风险显著增加"的方式。 • 灾难性风险确实出现，或盗窃确实造成了损害，但针对的是低于10^26 FLOP的模型。 • 意外将思维链暴露给奖励信号，从而危及思维链的可靠性或忠实性。
查看原文
查看缓存全文

缓存时间: 2026/07/07 04:15

提升AI安全性的共识政策之一是不良事件报告制度——这是政府已在多个行业成功用于改善安全的一种工具。

加州的SB 53、纽约的RAISE法案以及伊利诺伊州的SB 315（我强烈支持这些州级法案！）在建立事件报告要求方面迈出了初步步伐。但我经常与人们交流，发现他们要么高估了这些法案要求的严格程度，要么以为法案对重大安全事件的定义覆盖范围比实际更广。

我认为未来政府在此基础上扩展这些要求将至关重要，但与此同时，没有任何规定阻止公司自愿报告值得关注的事件！部分开发者已经通过系统卡发布或单独博客文章这样做。那些未报告或仅部分报告的公司，即便法律未强制要求，也应分享更多信息。

以下是一些不太可能触发报告要求的事件示例：

• 某公司获悉其前沿模型的权重被勒索软件团伙窃取，但尚未发现因盗窃导致的伤亡、死亡或损失。无需报告！

• 在前沿模型内部部署过程中，模型意外尝试外泄自身并部分成功，但其行为方式并未“实质上显著增加灾难性风险“。

• 灾难性风险真的发生了，或盗窃确实造成了损害，但涉及模型的计算量低于10^26 FLOP。

• 意外将思维链暴露给奖励信号，从而危及思维链的可靠性或忠实性。

相似文章

为什么负责任的AI开发需要在安全问题上进行合作

OpenAI Blog

OpenAI发布了一份政策研究论文，确定了四项战略来改进行业在AI安全规范方面的合作：传达风险/收益、技术协作、提高透明度和激励标准。该分析论述了竞争压力如何可能导致对安全性的投资不足，并提出了协调激励措施以促进安全AI开发的机制。