我念念不忘的 Wojciech Zaremba 伯克利演讲：火灾韧性类比

上周末我参加了伯克利 Agentic AI 峰会，有一个演讲一直萦绕在我脑海中：Wojciech Zaremba（OpenAI）的《为智能时代构建韧性》（录音链接见评论）。他的框架大致如下：火和AI都是基础性、通用型技术。火带给我们温暖、熟食、新材料，最终还带来了工业基础设施。AI 开始在知识、科学、软件和经济领域扮演同样广泛的角色。但有用性伴随着广泛的风险面。早期社会主要试图通过限制来控制火。这提高了安全性，但也限制了火的用途，并且火灾仍然会发生。最终让火变得可控的，并不是某一条完美的规则或某项发明，而是一个随时间发展出的多层系统：防火材料、建筑规范、警报器和喷淋系统、检查和疏散计划、消防栓和专业消防部门、保险和恢复机制。没有任何单层能保证火灾永远不会发生。每一层都应对不同的失效模式，包括其他层的失效。我觉得特别有意思的是与现代城市的比较。今天的城市比中世纪城市密集得多，潜在火源也更多：电力、燃气、工业、电器、电池等等。但火却变得可控得多。危险并没有消失，而是我们预防、检测、遏制、响应和恢复的能力提高了。Zaremba 更广泛的问题是：AI 安全是否也需要类似的韧性生态系统：模型安全、独立评估、事件数据库、部署标准、网络与生物防御、公共基础设施，以及许多我们尚未识别的层。我不认为这是在说 AI 和火本质相同，或限制是没有必要的。AI 发展更快、传播方式不同，而且可能变得越来越自主。我们是否过于重视在模型层面找到某个完美的控制手段，而忽略了建立一个能让故障被早期发现、遏制、学习并恢复的系统？我附上了几张幻灯片，展示这一类比的发展过程。这是否是思考 AI 安全的一种有用方式？当前 AI 韧性栈中缺少哪些层？你认为火这个类比在哪里失效了？