开启“蠢货位”会关闭学习机制
摘要
本文通过韧性工程中的“差异化疏远”这一概念探讨了 PocketOS AI 事件,该概念解释了团队如何通过将他人的失败归咎于无能,从而拒绝从中吸取教训。文章认为,面对 AI 事故时将受害者贴上“蠢货”标签的反应,不利于系统安全和学习。
<p><a href="https://lobste.rs/s/bfiq9k/flipping_bozo_bit_on_flips_learning_off">评论</a></p>
查看缓存全文
缓存时间: 2026/05/10 04:47
# 对 PocketOS 事故“翻出博佐位”,反而关闭了学习的可能
来源:https://surfingcomplexity.blog/2026/05/09/flipping-the-bozo-bit-on-flips-the-learning-off/
[](https://surfingcomplexity.blog/wp-content/uploads/2026/05/image-2.png)我年纪太轻,没见过博佐小丑(Bozo the Clown)本人,但年纪足够大,能懂那些典故。“Flip the bozo bit(https://en.wikipedia.org/wiki/Bozo_bit#Dismissing_a_person_as_not_worth_listening_to)”是软件圈的一个说法。想想看,你是否有过这样的时刻:你不再尊重某个人(通常是同事)的观点,从此以后,你完全忽视他们说的话。这就是“flip the bozo bit”。这个人“不值得听”,他是个*bozo*(小丑/笨蛋)。
还有一个相关的现象:我们听到某人遭遇不良后果的轶事,于是得出结论——之所以出现这种后果,是因为,嗯,那个人是个 bozo。我当然是在说事故。你一定见过这种情况,对吧?事故发生后,细节四处流传,有人评论说:“他们怎么可能\[没\]做 X?”言外之意是:“真是群 bozo!”
我之所以想到这个,是因为最近发生在 PocketOS 的这起与 AI 相关的事故。你可以在 PocketOS 创始人 Jer Crane 的推文里读到详情。这篇帖子的标题是 An AI Agent Just Destroyed Our Production Data\. It Confessed in Writing (https://x.com/lifeof_jer/status/2048103471019434248)。毫不意外,这篇帖子在网上引起了很大关注。我看到很多“哇,这家伙真是个 bozo”的反应。我想谈谈为什么这种反应适得其反。我还想指出这个现象的一个技术术语,它是“flip the bozo bit”的近亲,叫作***distancing through differencing(通过差异制造距离)***。
术语*distancing through differencing*由美国韧性工程(resilience engineering)研究者 Richard Cook 和 David Woods 在他们 2006 年的论文中提出:Distancing Through Differencing: An Obstacle to Organizational Learning Following Accidents (https://www.researchgate.net/publication/292504703_Distancing_Through_Differencing_An_Obstacle_to_Organizational_Learning_Following_Accidents)。严格来说,这是出自《Resilience Engineering: Concepts and Precepts (https://www.taylorfrancis.com/books/edit/10.1201/9781315605685/resilience-engineering-erik-hollnagel-david-woods-nancy-leveson?context=ubx)》的一章。文章非常易读,我强烈推荐。下面引用的内容均来自该论文。
> 通过关注差异,他们看不到对自己运营和实践的启示。
当人们听说某起事故,并得出结论说“这种事故绝不会发生在我们身上;那发生在**那些**工人身上,因为他们显然不如我们谨慎”,这就是“distancing through differencing”在发挥作用。
> 总体而言,他们认定事故“不可能发生在本地”。
Cook 和 Woods 的论文用美国一家制造工厂发生的化学火灾案例说明了这一现象。此前,同一家公司在海外工厂也发生过类似的火灾。美国员工知道此前的火灾,但他们认为没有什么可以从中学习,因为这种事故不会在美国发生。毕竟,那些海外工人技能较低、动力不足、不够谨慎。简而言之,那些海外工人被看作是*不同的*。
颇具讽刺意味的是,在美国工厂发生化学火灾后,同一工厂的其他工人也表现出了“distancing through differencing”。
> 同一工厂、同一区域但不同班组的工人将火灾归咎于其他班组工人的技能较低。
Cook 和 Woods 指出,当事故发生在*他们*身上时,我们倾向于关注*我们*与*他们*之间的差异,这导致*我们*忽视了与他们共有的系统层面因素。通过聚焦差异,我们错失了从他们的经验中学习的机会,因为这诱使我们相信这里没什么可学的。
> 不要因为表面看起来不同就抛弃其他事件。在某些分析层面上,所有事件都是独特的;而在其他层面上,它们揭示出共同的模式。
现在回到 PocketOS 的这起 AI 相关事故。如果我们得出的结论是 PocketOS 员工只是不负责任地使用 AI,而 ourselves 更负责任,我们就学不到任何东西。令我感到欣慰的是,Railway(PocketOS 使用的、暴露了删除 API 的供应商)已经对整个系统进行了改进,以提升安全性;详见他们的博文:Your AI wants to nuke your database\. Guardrails fix that (https://blog.railway.com/p/your-ai-wants-to-nuke-your-database)。
退一步说,这绝不是我们行业将会看到的最后一例与 AI 相关的事故,远不止如此。下次你读到类似事件时,如果你的反应是“他们本应知道不该做 X”,那你就陷入了*distancing through differencing*的陷阱。
(顺便说一句,“他们本应知道……”是一句逻辑不通的话。如果是某人故意承担过高风险,那是一回事。但如果他们不知情的情况下承担了过高风险,那是另一回事。你怎么能因为某人*不知道某事*而责怪他?)
> 当这一学习过程突破了 distancing through differencing 的障碍时,组织层面的应对方式就改变了。
毕竟,要不是上帝恩典,我们所有人也都可能如此。
相似文章
@buccocapital: Levie's Law of AI Psychosis:离实际工作越远,你就越确信人类不再需要……
Aaron Levie 的 AI 精神病定律描述了CEO等远离实际工作的人如何倾向于高估AI取代人类的能力,只关注理想情况的结果,而忽视了工作中复杂的最后步骤。
引用 Mo Bitar
本文分享了一条来自 TikTok 视频的讽刺性语录,该视频标题为“在 AI 裁员中生存的道德指南”。视频中幽默地建议,通过使用“Ralph Loops”等流行语和虚假的自动化主张来确保获得晋升和股权。
最大的AI风险可能不是超级智能,而是优化的误解
文章认为,主要的AI风险可能不是超级智能,而是那些优化了有缺陷、不完整的现实表征的系统,从而导致制度漂移、自动误分类和隐蔽的治理失败。
AI部署失败往往源于同一个结构性错误:将可逆性视为成本而非特性
本文认为,AI部署常常失败是因为团队将AI决策的可逆性视为成本而非设计特性,并提供了设计可逆AI系统的示例和原则。
当你的AI功能出现细微错误时,你如何处理用户信任?用户会像原谅自动更正那样原谅它,还是它会侵蚀整个应用?
探讨了为什么AI功能出错时往往失去用户信任,而自动更正却能被原谅。指出了关键因素如置信度框架、可逆性和失败可见性,并提出了维护信任的设计方法。