@itsolelehmann：为什么今天 AI 末日论者们崩溃了（傻瓜版）：>身为人类 >构建即将远超我们的 AI >完全不知道它内部在想什么
摘要
Nick Cammarata 分享关于 AI 可解释性的突破性进展：借助 AI agents 辅助分析，约 90% 的模型组件具有可读的单一功能，远超 2023 年仅能解读 2% 的水平，为解决对齐问题带来新希望。
查看缓存全文
缓存时间: 2026/10/17 06:52
为什么 AI 末日论者今天集体崩溃了（小白版）：
你是人类 造了一个即将比你聪明得多的 AI 完全不知道它内部在发生什么 只能看到它说了什么、做了什么 它通过了所有安全测试 但你根本分不清它是真的安全还是只是在装 你需要一种方式看到它脑子里的东西 这叫可解释性研究 花了很多年，毫无进展 2023 年：OpenAI 只能搞清楚一个 AI 大约 2% 的组件在干什么 AI 还在不断变大、变得更复杂、更强大 末日论者说我们完蛋了 连当初在 OpenAI 牵头这个项目的人——Nick Cammarata——也失去了信心 三年过去了 Nick 又试了一次，这次让 AI 智能体来做挖掘工作 结果发现，大约 90% 的组件都有一个清晰的、可以读懂的功能 剩下的大部分也能读懂 即使是在超大模型上也一样 我们或许真的能读懂 AI 的思维 在把电网、武器系统以及世界上运行的每一个系统交给它之前 检查它是否真正与人类利益一致 完整的论文还没有发布 但人类或许真的能成功
Nick (@nickcammarata)： 可解释性可能是当今世界上最重要的科学问题，因为我认为如果我们不知道自己在构建什么，就无法解决对齐问题。我有一个好消息。我在 OpenAI 时期共同撰写了机制可解释性方向的早期工作，并且
相似文章
@aisolopreneur：AI 可能毁灭人类的头号原因，或许刚刚被解决了。让我解释一下。目前，没人能读懂 AI……
帖子称，OpenAI 前研究员 Nick Cammarata 发布了一项新研究，表明借助 AI 代理进行探索，即使在拥有数万亿参数的模型中，大部分神经元也具有明确、可理解的功能。这可能成为 AI 安全与可解释性领域的重大突破，让我们能够在 AI 系统失控前识别其内部意图。
@AYi_AInotes: 说个反常识的判断， 80% 的 Agent 生产崩溃，跟模型智商没半毛钱关系， 基本都死在上下文溢出、工具调错、子代理失控上， 2026 年真正的分水岭在 Harness 和 Loop，不是模型啊， 兄弟@wizardly_ai 这篇工程…
这篇文章指出80%的AI Agent生产崩溃并非模型智商问题，而是由上下文溢出、工具调错、子代理失控引起。作者强调2026年的分水岭在于Harness（办公室制度、安保系统）和Loop（自动循环机制），而非模型本身。
混合式、多模型的AI未来（6分钟阅读）
作者论证AI的未来将是混合的多模型格局：开放权重模型将占绝大多数token，前沿模型公司仍能表现良好，而模型层利润率下降反而会推高算力需求。文章还分析了Anthropic巨额合同承诺的财务可行性、B200集群的投资回报率，以及结构性短缺（电力、晶圆、资本）反而有助于避免AI过度建设和泡沫。
如果AI比我们更聪明，做决定的将是它
作者讨论了AI一旦超越人类智能后可能自行决策的风险，认为AI在所有领域超越人类只是时间问题，并质疑阻止智能AI独立行动的长期可行性，提出以大量伦理文献作为训练数据或有助于对齐。
@ba_niu80557: https://x.com/ba_niu80557/status/2068751230667755859
文章探讨了AI模型不断强大如何淘汰那些技能可以被写进提示词的人，强调真正不可替代的价值在于难以编码的默会知识、物理世界的实际操作以及人与人之间的信任关系。作者通过朋友从咨询顾问转型为硬件集成者的例子，说明主动让出易被AI替代的环节、深耕AI触及不到的领域，才能在技术浪潮中生存和发展。