Discussion on who are funding and training frontier models and their roots

**TL;DR：研究者 Emil Torres 拆解了影响 Anthropic 与 OpenAI 等前沿实验室的 TESCREAL 意识形态谱系，指出其共同愿景是通过超级智能建立宇宙性后人类乌托邦，而人类物种本身被排除在这一乌托邦之外。** ## 一场关于 AI 实验室背后意识形态的对话 主持人长期主张：要理解 AI 领域正在发生什么，就必须理解深刻影响着 Anthropic 与 OpenAI 这些前沿实验室的未来主义意识形态。问题在于，这些意识形态令人困惑，周围充斥着各种传言，偶尔听到的一些观点片段甚至荒谬到让人觉得"这不可能是真的"。 为此，节目请来了 Emil Torres。Emil 是一位专注于末世论和乌托邦运动的研究者与学者，但让他对这场讨论格外有价值的是，他曾经深度参与过这些意识形态——他来自那些信仰超级智能 AI 要么毁灭人类、要么通过后人类数字之神救赎人类的思想流派的世界。后来，他的道德良知引导他离开了那个世界，并成为这些意识形态最敏锐的记录者、阐释者和批评者之一。 ## TESCREAL：硅谷主流正统世界观的命名 Emil 首先解释了 TESCREAL 这个首字母缩写的来历。这是他在与计算机科学家 Timnit Gebru 合作期间提出的，合作大约始于 2022 年底。他们当时特别关注的是当前围绕构建 ASI——即人工超级智能——的竞赛背后所隐藏的意识形态驱动力。 "TESCREAL 这个词虽然笨拙且不怎么好听，但它在解释力方面做了很多重要的工作。"理解这个缩写的一种方式是：它基本上就是硅谷主流正统世界观的一个名称，同时突出了理解该世界观时相关的特定思想史——它是什么、从哪里来、是什么塑造了它、它是如何演变的。 这个首字母缩写代表七种意识形态，字母顺序大致对应它们在过去近四十年间出现的时间先后： - **T**：超人类主义（Transhumanism） - **E**：超人类主义运动（Extropianism） - **C**：奇点主义（Singularitarianism） - **C**：宇宙主义（Cosmism） - **R**：理性主义（Rationalism） - **E**：有效利他主义（Effective Altruism） - **L**：长期主义（Longtermism） ## 边缘却统治硅谷 这些意识形态在美国社会中相当边缘。Emil 认为，如果你去和街头的普通人聊天，他们会觉得这些东西如此怪异，以至于会把这些背后的宏大宇宙愿景视为根本不可能接受的。 尽管如此，它们在硅谷内部却具有巨大的影响力。"基本上每一个人，从 Elon Musk 到 Mark Zuckerberg 到 Sam Altman 到 Dario Amodei，都是超人类主义者。"硅谷很多人甚至都不自称超人类主义者，但这就像 Emil 从未公开宣称自己是"地球是圆的"这一观点的支持者一样——"我还能是什么呢？显然是那样。" 超人类主义是硅谷人游泳的水、呼吸的空气，也是整个 TESCREAL 世界观的骨干。一旦理解了超人类主义，其余意识形态——其中一些只不过是超人类主义的变体——就很容易掌握了。 ## 历史脉络：从 Extropianism 到长期主义 主持人提到自己最容易理解的这段历史是从那个"E"开始的：超人类主义运动在八九十年代成为一场相当大的乌托邦未来主义运动，从中发展出理性主义，同时出现有效利他主义，后来长期主义变得更加聚焦，成为一种更偏长期主义的、超人类主义的、乌托邦式的、关于 AI 的定位。 Emil 确认这是相当好的概述，并做了补充。当 Gebru 和他谈论超人类主义时，主要指的是现代超人类主义的自由意志主义形式。第一个有组织的自由意志主义超人类主义运动就是 Extropians——一个在 1980 年代末、1990 年代初兴起的运动。当时有一个相当著名的邮件列表，把来自世界各地的超人类主义者聚集在一起。 **Eliezer Yudkowsky**——当今 AI 灾难论者（AI doomers）的领军人物——正是在那个邮件列表上与 **Nick Bostrom** 等人交流思想的，而 Bostrom 是 TESCREAL 世界观形成和发展过程中另一个非常重要的人物。 ### 奇点主义：递归自我改进与智能爆炸 奇点主义基本上就是自由意志主义的超人类主义，但重点放在了奇点上。如今最常见的定义是：**由递归自我改进引发的智能爆炸**——你得到一个足够聪明的 AI 系统，能够开发出下一代 AI 系统，然后形成正反馈循环，通过指数级或双曲线式的能力爆炸最终得到超级智能。再然后，出去殖民整个宇宙、掠夺宇宙的浩瀚资源，创造一个遍布星辰之间的多星系乌托邦。 ### 宇宙主义：把重新设计的对象从人体扩大到宇宙 宇宙主义只是超人类主义的一个变体，强调了上述世界观中某一方面：为什么要止步于仅仅对人类有机体进行彻底的重新设计——这是超人类主义的核心目标，即创造一个新的后人类物种——呢？让我们出去创造能够让我们重新设计整个宇宙的技术，整个星系，甚至介入时空的基本结构，以我们认为可取的方式来操控世界。 ### 理性主义：为建立乌托邦而优化理性 理性主义由 Yudkowsky 创立。他本人是超人类主义者、Extropian 成员和奇点主义者，并聘请了当今最重要的理性主义者 Ben Gertze——后者在机器智能研究所（Machine Intelligence Research Institute）工作，该研究所最初是由 Yudkowsky 创立的奇点研究所（Singularity Institute）。 其核心要旨是：如果我们要在某个时候建立一个宇宙性的后人类乌托邦，我们就需要开发这些先进技术，尤其是超级智能；但要以正确的方式开发，使它们不会毁灭我们。为此我们需要**优化我们的理性**。 ### 有效利他主义：从优化理性转向优化道德 有效利他主义从理性主义博客如《克服偏见》（Overcoming Bias）和 LessWrong 中发展出来，其侧重点与其说是优化我们的理性，不如说是优化我们的道德。 Emil 强调，虽然有效利他主义者喜欢讲述的故事是他们最初主要关注全球贫困，然后是动物福利，长期主义这个关注领域后来才进入视野；但实际上，有效利他主义者从这场运动的最初起源就已经在关注长期主义了。 ### 长期主义：宇宙主义加上功利主义伦理 长期主义基本上就是宇宙主义，只不过它有一个更明确的伦理基础：**总体功利主义（total or totalist utilitarianism）**。它说的是：我们有义务在整个宇宙的时空范围内增加价值总量。 如何做到？一种方式是：如果人口固定，就增加那些存在者的福祉。另一种可能性是直接增加人口——如果你把人口翻倍，其他一切不变，在其他条件相同的情况下，你就把价值总量翻倍了。 从长期主义的视角来看，宇宙主义可以这样理解：如果作为超人类主义者，我们彻底重新设计自己、变成后人类、把意识上传到云端、出去殖民宇宙，那不是非常酷吗？长期主义更进一步说：其实不是"酷不酷"的问题，我们有一种**伦理义务**去做这件事。 正如 **William MacAskill** 在 2022 年的著作《我们对未来亏欠什么》（*What We Owe the Future*）中所说的，其结论为太空定居提供了一个道德论证。所以也许可以理解为什么 Elon Musk 会称长期主义"与我的哲学非常接近"。 ## 意识形态地图：看似不同，实则重合 主持人指出，这些意识形态之间存在细微差异容易让人困惑：Yudkowsky 和理性主义者对 Kurzweil 式的奇点主义持不屑态度，因为它过于乐观，而他更悲观；有效利他主义者更多做显式的功利主义期望值计算。它们并非同一群体。 Emil 用一张"意识形态地图"来解释：想象一张六英尺乘四英尺的地图，意识形态按地理位置标注。如果你站得非常近，会发现理性主义和有效利他主义占据不同的位置；如果你后退大约五步，会发现所有这些意识形态基本上是重合的，位于完全相同的位置；而如果你从远处看，会发现像他本人这样非常反超人类主义的观点，或者像 Timnit Gebru 的观点，大概在五英尺远的地方。 "所有这些群体对未来都有着完全相同的愿景，那个愿景就是通过创造人工超级智能来实现一个宇宙性的后人类乌托邦。" ## 灾难论者与加速主义者：同一个终点的两种策略 TESCREAL 运动中的每个人都在致力于创造这个星际间的宇宙性后人类乌托岐，但在开发超级智能所涉及的风险上存在分歧，形成两个阵营：**灾难论者**和**加速主义者**——当然这是一个光谱，中间也有其他人。 灾难论者以 Yudkowsky 为代表。Emil 认为，Yudkowsky 经常将自己呈现为支持人类和反对 ASI 的人，"但他两者都不是。他不支持人类，也不像 TESCREAL 运动中的大多数人那样支持 ASI。他是一个支持灭绝主义者。" ## 被排除在乌托邦之外的，是我们的生物物种 建立宇宙性后人类乌托邦这一愿景的组成部分之一，就是我们的生物物种将消失——"在最好的情况下，如果 ASI 是对齐的，我们也会消失。这是人们最需要理解的事情。" 这些 AI 公司由与 TESCREAL 运动有着广泛联系的个人经营，他们试图开启后人类时代。而在后人类时代，我们的物种没有容身之处。"乌托邦是一个排斥性的概念。总有人或物被排除在外。所以你必须始终问：在这个提出的乌托邦愿景中，什么被排除了？在他们那里，被排除的就是我们的生物物种。" 原因有两点： **第一，我们将变得无关紧要。** 我们会在技术上、科学上、经济上和政治上变得无关紧要，变得过时。在一个由数字后人类统治和管理的世界中，我们将不再具有任何功能——因为如果这些人成功实现了他们的愿景，这些后人类将更为优越，能够做我们所做的一切，而且做得比我们更好。 **第二，我们将碍事。** 我们会继续消耗他们可能用于其他目的的宝贵资源——比如在太阳周围建造戴森球（Dyson swarm），**Dario Amodei** 说我们可能在 2030 年代初开始这样做；或者用数据中心覆盖整个星球，**Sam Altman** 公开表示这是超级智能最可能的结果。 Emil 进一步指出，Sam Altman 也表达过支持灭绝的观点——就像所有这些其他人一样，因为他在一篇 2017 年的博客文章中写道：我们唯一的生存方式是在超级智能到来时…… Source: [Discussion on who are funding and training frontier models and their roots](https://youtube.com/watch?si=UQFgFjEuMPSknQGr&v=jt508VjX2H8)