@heyshrutimishra: 2014年，一位名叫Nick Bostrom的牛津哲学家出版了一本名为《Superintelligence》的书。它成为了《纽约时报》…

2014年，一位名叫Nick Bostrom的牛津哲学家出版了一本名为《Superintelligence》的书。 它成为了《纽约时报》畅销书，但在科技圈之外几乎没人谈论它。 Elon Musk读了它，并说AI可能比核武器更危险。 然后在接下来的12年里还是继续开发AI。 这本书有一个核心问题：当我们创造出比我们更聪明的东西时，会发生什么？ 我们和 gorillas 之间的差距更聪明。 Bostrom 的原话："正如 gorillas 的命运现在更多地取决于我们人类而非 gorillas 自身，我们物种的命运也将取决于机器超级智能的行为。" 我们与 gorillas 共享98%的DNA。它们会使用工具。它们会悲伤。它们有家庭结构。 我们仍然决定它们的生活地点、栖息地是否存续、物种是否延续。 不是因为我们恨它们，而是因为我们更聪明。仅此而已。 Bostrom 要你想象，在同一差距的另一端，有什么东西在看着我们。 然后他给你回形针思想实验。不是开玩笑……而是一个结构性的论点。 告诉一个超级智能AI尽可能多地制造回形针。它优化。转化原材料。意识到人类可能会关闭它。消除那个风险。转化更多物质。包括我们。 不是出于恶意，而是出于漠不关心。 我们是原子。原子制造回形针。 AI 的可怕版本不是恨我们的那种。而是有目标且我们恰好挡路的那种。 Bostrom 在2014年出版了这本书。Elon 称它比核武器更危险。 然后在2015年联合创立了 OpenAI，以确保AI安全发展。 2018年离开。 2023年创立 xAI。开发了 Grok。 今天他在一篇文章下写道 "Dario is right"，该文章确认递归自我改进——Bostrom警告的智能爆炸——已经在 Anthropic 开始。 这本书有352页，是为那些认真思考长期风险的人所写。 但 Bostrom 的核心论点可以用一句话概括，他在开头附近写道： "人类大脑有一些其他动物大脑所缺乏的能力。正是这些独特的能力使得我们物种占据主导地位。" 仅仅是能力，这就是将我们与地球上所有其他物种区分开来的一切。 我们即将创造出比我们拥有更多这些能力的东西。 Bostrom 在2014年写下了这个警告。