@_NathanCalvin: 提升AI安全的共识政策之一是负面事件报告——政府已在多个行业中成功依赖的工具…
摘要
Nathan Calvin讨论了AI安全事件报告，指出当前州级法案要求有限，并鼓励自愿报告。
查看缓存全文
缓存时间: 2026/07/07 04:15
提升AI安全性的共识政策之一是不良事件报告制度——这是政府已在多个行业成功用于改善安全的一种工具。
加州的SB 53、纽约的RAISE法案以及伊利诺伊州的SB 315（我强烈支持这些州级法案！）在建立事件报告要求方面迈出了初步步伐。但我经常与人们交流，发现他们要么高估了这些法案要求的严格程度，要么以为法案对重大安全事件的定义覆盖范围比实际更广。
我认为未来政府在此基础上扩展这些要求将至关重要，但与此同时，没有任何规定阻止公司自愿报告值得关注的事件！部分开发者已经通过系统卡发布或单独博客文章这样做。那些未报告或仅部分报告的公司，即便法律未强制要求，也应分享更多信息。
以下是一些不太可能触发报告要求的事件示例：
• 某公司获悉其前沿模型的权重被勒索软件团伙窃取，但尚未发现因盗窃导致的伤亡、死亡或损失。无需报告！
• 在前沿模型内部部署过程中，模型意外尝试外泄自身并部分成功，但其行为方式并未“实质上显著增加灾难性风险“。
• 灾难性风险真的发生了，或盗窃确实造成了损害，但涉及模型的计算量低于10^26 FLOP。
• 意外将思维链暴露给奖励信号，从而危及思维链的可靠性或忠实性。
相似文章
美国议员提出法案，要求AI公司报告关键事件
一位美国议员提出了一项法案，要求AI公司向监管机构报告关键事件。
为什么负责任的AI开发需要在安全问题上进行合作
OpenAI发布了一份政策研究论文，确定了四项战略来改进行业在AI安全规范方面的合作：传达风险/收益、技术协作、提高透明度和激励标准。该分析论述了竞争压力如何可能导致对安全性的投资不足，并提出了协调激励措施以促进安全AI开发的机制。
OpenAI 表示 California 应加强其 AI 安全法案
OpenAI 正敦促 California 加强其 AI 安全法案 SB 53，通过添加监控前沿模型和加强网络安全等安全措施，这标志着其之前反对态度的转变。
以下是Anthropic推动各州加快人工智能监管的原因
Anthropic正在倡导比现有透明度法律更严格的州级人工智能监管，认为随着AI能力迅速提升，自我报告已不再足够。
美国通过州和联邦行动推进AI安全
OpenAI首席全球事务官讨论加州、纽约州、伊利诺伊州等美国州如何推进前沿AI安全立法，通过‘反向联邦主义’形成事实上的国家标准，并强调AI治理中民主监督的必要性。