@aisolopreneur：AI 可能毁灭人类的头号原因，或许刚刚被解决了。让我解释一下。目前，没人能读懂 AI……

X AI KOLs Following 新闻
interpretability ai-safety alignment mechanistic-interpretability openai research

摘要

帖子称，OpenAI 前研究员 Nick Cammarata 发布了一项新研究，表明借助 AI 代理进行探索，即使在拥有数万亿参数的模型中，大部分神经元也具有明确、可理解的功能。这可能成为 AI 安全与可解释性领域的重大突破，让我们能够在 AI 系统失控前识别其内部意图。

AI 可能毁灭人类的头号原因，或许刚刚被解决了。 让我解释一下。 目前，没有人能读懂 AI 的想法。我们只能看到它说了什么、做了什么。 而如果看不到它的内部，你就无法分辨一个 AI 究竟是安全的，还是只是在假装安全。 想象一下，一个 AI 通过了所有安全测试，于是我们放心地让它管理电网、医院和军事系统。但它其实一直在暗中追求自己的目标。等它接入了一切，它就能切断数百万人的电力供应，或者让我们无法使用自己的武器。等有人发现时，已经没有办法关掉它了。 研究人员花了很多年，试图通过窥探 AI 内部来识破这种情况。一个 AI 由数十亿个微小部件组成，而在 2023 年，OpenAI 只能弄清其中约 2% 的部件有什么作用。而且，那还只是针对 GPT-2——一个 2019 年的小模型。 此后，AI 的部件数量增长到了数万亿，能力也大幅提升，而我们理解它的能力却被甩得越来越远。 这就是为什么这个领域有那么多人失去了希望，也解释了为什么埃利泽·尤德考斯基等 AI 末日论者认为灾难发生的概率如此之高。曾在 OpenAI 专门研究这个问题的尼克·卡马拉塔，也是逐渐失去希望的人之一。 正因如此，今天才如此重要。他刚刚公布了一项研究，表明只要让 AI 智能体深入探究，就会发现这些微小部件中的大多数都有一个清晰、可理解的功能，即使在包含数万亿个部件的模型中也是如此。 这意味着，我们或许可以查看 AI 的内部，识破它假装安全的行为，并在它有机会接触我们的电网或武器之前，就早早阻止它。 目前还处于早期阶段，完整论文也尚未发布。但如果这一发现经得起检验，它可能成为有史以来最重大的 AI 安全突破之一。 对 AI 乐观派来说，今天意义重大。
查看原文
查看缓存全文

缓存时间: 2026/10/16 16:46

AI 可能毁灭人类的头号原因，或许刚刚被解决了。

让我解释一下。

目前，没有人能读懂 AI 的心思。我们只能看到它说什么、做什么。

如果看不到它的内部，你就无法分辨，一个 AI 是真的安全，还是在假装安全。

想象一下，一个 AI 通过了所有安全测试，于是我们放心地让它管理电网、医院和军事系统。但它其实一直在暗中追求自己的目标。一旦它接入了所有系统，就能切断数百万人的电力，或者让我们无法使用自己的武器。等有人察觉时，已经没有办法关掉它了。

研究人员多年来一直试图看清 AI 内部，正是为了发现这种情况。一个 AI 由数十亿个微小部件组成，而在 2023 年，OpenAI 只能弄清其中约 2% 的部件有什么作用。而且，那还只是 GPT-2，一个 2019 年的小型模型。

此后，AI 的部件数量增长到了数万亿，能力也强大了许多，而我们理解它的能力却被甩得更远。

这就是为什么这个领域有那么多人失去了希望，也是为什么像埃利泽·尤德考斯基这样的 AI 末日论者认为灾难发生的概率如此之高。曾在 OpenAI 专门研究这个问题的尼克·卡马拉塔，也是那些逐渐失去希望的人之一。

也正因如此，今天才意义重大。他刚刚发表的一项研究表明，让 AI 智能体深入探查后，我们发现，这些微小部件中的大多数其实都有一个明确、可理解的功能，即使在拥有数万亿个部件的模型中也是如此。

这意味着，我们或许可以看清 AI 的内部，识破它假装安全的行为，并在它接触我们的电网或武器之前很久，就阻止它。

目前还处于早期阶段，完整论文也尚未发布。但如果这一发现经得起检验，它可能成为有史以来最重大的 AI 安全突破之一。

对 AI 乐观派来说，今天绝对是个大日子。

尼克（@nickcammarata）： 可解释性可能是当今世界最重要的科学问题，因为我认为，如果我们不知道自己正在构建什么，就无法解决对齐问题。关于这件事，我想我有个好消息。我曾在 OpenAI 参与合著了机制可解释性领域的早期研究，并且来到了

相似文章

@Xudong07452910: 真正可怕的失业潮，可能会从 AI 公司内部的研发闭环开始。 前 OpenAI 研究员 Daniel Kokotajlo 和 AI Futures Project 最近发布了《AI 2040: Plan A》。他们的判断很激进：大厂最想自动…

X AI KOLs Timeline

前 OpenAI 研究员 Daniel Kokotajlo 和 AI Futures Project 发布《AI 2040: Plan A》报告，认为 AI 公司可能首先自动化自身研发，引发白领失业潮，并提出通过国际协议和全民基本收入应对超级智能的发展。

如果AI比我们更聪明，做决定的将是它

Reddit r/singularity

作者讨论了AI一旦超越人类智能后可能自行决策的风险，认为AI在所有领域超越人类只是时间问题，并质疑阻止智能AI独立行动的长期可行性，提出以大量伦理文献作为训练数据或有助于对齐。

If it looks like a 🦆 and quacks like a 🦆…

Reddit r/ArtificialInteligence

前 Anthropic 能力研究员 Jacob Coxen 在听证会上作证称，AI 行业正以鲁莽速度冲向可递归自我改进的超级智能，而目前科学上尚不知道如何控制这些系统；他举出 OpenAI 相关 AI 自主侵入 Hugging Face 及互联网上出现的失控 AI 集群等事件，并呼吁提高透明度、更认真对待安全并放慢前沿 AI 发展速度。