潜空间作为新媒介

# 潜空间：一种全新的媒介 来源：https://kevinkelly.substack.com/p/latent-space-as-a-new-medium [](https://substackcdn.com/image/fetch/$s_!3t4S!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F74a3238f-ad20-44cb-973a-c5c4c8815abb_1537x1023.png)*温斯洛·霍默最著名的水彩画，以儿童画风格呈现。* 最近我一直在问自己：除了回答问题、编写代码，人工智能还能有什么用处？我的答案是：AI 内部的潜空间本身将成为一种全新的创意媒介。我先解释一下什么是潜空间，然后在解释的结尾，我会提出一些可能的方式，供科学家和艺术家利用神经网络固有的潜空间，将其作为创意的新平台。 大语言模型（LLM）就像一个包含了全人类知识的小型压缩包。它需要云端十万块 GPU 芯片组成的大规模阵列，耗费数十亿美元，才能将人类所有的文字压缩成一个可以在单块 GPU 芯片上运行的小型工作模型。即使是最大的前沿模型，压缩后也只有几百 GB，小到可以放在你手掌中的一张卡片上。这个微小的文件，以一种奇特而真实的方式，包含了互联网和图书馆中的所有信息。这张小小的卡片承载了人类集体知识中相当大的一部分。在 AI 所有令人惊叹的方面中，这种惊人的压缩能力或许是最不被重视的。这种对人类知识的高度密集压缩——被称为“潜空间”——本身也可能是一种全新的媒介。 潜空间中这种对知识的极致压缩，并非发明 LLM 的研究人员的初衷。它们所具备的书本智慧，对于训练它们的人来说是一种意外之喜，而我们仍在试图弄清楚它们究竟是如何运作的。我们可以确定的是，LLM 内部并不包含其所知一切内容的副本。例如，它知道所有莎士比亚的戏剧，能创作出听起来很像莎士比亚的新剧，甚至能引用他剧中的著名台词，但模型中并没有莎士比亚文本的实际内容。相反，它只存储了关于所有戏剧、情节、人物、词汇、风格和参考文献的抽象信息。同样，LLM 能识别几乎任何人的面孔，也能生成任何可能的人类面孔，但其代码中并没有任何人脸副本。它存储的是关于人脸的所有信息，而不存储任何具体的人脸。 这很奇怪。直到不久前，我们可能还会认为关于某事物的所有信息所占用的存储空间会超过该事物本身。对于一个单独的事物来说或许如此，但对于所有事物的集合则不然。这是因为大多数事物与其他事物共享很多共同属性。LLM 的神经网络玩了一个魔术：它同时将所有信息抽象化，从而利用事物与观念之间无数共同的关系来压缩和抽象它们，形成这个虚拟的“潜在”或隐藏空间。 “大语言模型”中的三个词都至关重要。“大”表示模型包含了维基百科的所有知识、几十年互联网上的所有文本、所有网页和在线讨论、以及大多数图书馆中所有扫描的书籍和期刊。到目前为止，模型的性能随着规模的扩大而不断提升。它训练所用的信息越多，连接就越多，效果就越好。 LLM 的“语言”部分被证明是秘密武器。LLM 最初是为了做自动语言翻译而发明的，仅此而已。但与早期 AI 研究人员教授语言规则的做法不同，这次不需要任何语言专业知识。相反，一个神经网络吸收了人类书面语言（互联网）的庞大数据库，目标是让神经网络（AI）从这些数十亿文档中提取出所有我们平常意识不到的语言隐藏模式。该程序的目标是复制、模仿和综合人类日常使用语言的模式。 结果震惊了所有人。当然，LLM 可以像人类一样翻译语言，但 AI 还展现出了类似人类智能的端倪。它们也能在语言上表现出创造力，比如用十四行诗的风格写一篇销售文案。一些早期研究人员被这种涌现行为吓到了，包括一位谷歌研究员，他认为谷歌的 LLM 具有内在智能，不应该被关闭。我们现在明白了，我们在 LLM 中看到的智能来自于它们所训练的语言中的逻辑。（参见我的 *为什么 LLM 很聪明？*(https://kevinkelly.substack.com/p/why-are-llms-smart) ） 这种全新心智的形式——LLM 中的“模型”部分——就是一种潜空间。潜空间是一种抽象概念，不是二维的，而是数十亿维度的地图。想象一个由数十亿条笔直的长箭头构成的大脑，它们指向各个方向。每个箭头对应一个想法或一个事物。有一个代表狗的箭头，有一个代表猫的箭头。相关的箭头彼此相邻。因此，这张地图显示猫和狗共享附近一个代表蓬松毛发的箭头。它们也共享一个代表耳朵的箭头，一个代表尾巴的箭头。这两个属性也被其他动物（其他位置）所共享。狗的大部分属性也是哺乳动物共有的，所以这种重叠是压缩的来源之一。 你可以把每一个我们能付诸文字的概念都视为这个空间中的一个方向。狗这个箭头实际上就是“狗性”的方向。猫性是方向，蓬松感也是方向。任何事物都可以变得更像猫，或者更蓬松。你可以从一只鞋、一个烟囱或一株蕨类植物开始，然后沿着猫的方向推动它，使其更像猫。或者你可以沿着苹果的方向推动它，使其更像苹果，或者更光滑，或者偏红，或者更兴奋，或者更圆。你也可以反向推动，使其更不像猫，更不红，更不原子化。这个空间中有数十亿个方向。 在这个空间中，相关的事物彼此靠近。猫和狗共享许多属性，因此它们相交在许多共同的箭头上，例如尾巴、胡须、耳朵、四条腿、动物、体型小、生命等。但因为它们能听见，它们也相交于麦克风向量；因为它们能跳跃，它们相交于篮球。猫很隐蔽，与间谍相交。因为狗很忠诚，它们相交于爱国主义的向量。 每一件事物、每一个概念在这个巨大的空间地图中都有一个特定的位置，但每个事物不是只有两个坐标（x, y），而是有一个长达数十亿的坐标。所以，一个埋在杂草中的生锈汽油割草机是一个特定的交点，有一个很长的地址。它的数千个属性（锈、汽油、草坪、切割、杂草、推、红色、泥土、碎屑、轰鸣声等）都有自己的方向并被相交。在潜空间中，附近有一个割草机，它更偏向锈蚀方向，或更不红，但也更像猫，或更像狗，或更不像宇宙飞船，或更像生奶油。那个点可能代表一个真实事物，也可能只是一个虚拟或理论上的事物。这种映射不仅适用于名词，也适用于任何想法、任何声音、任何图像。水花飞溅的“嗖”声是潜空间中的一个方向。发明中的“啊哈”时刻。在小路上看到蛇时的恐惧。质数的概念。所有这些都包含在同一张地图中。这是 LLM 潜空间最令人惊叹但又最被低估的方面之一：一切——*一切！*——都出现在同一张地图上。我们从未有过一个系统能整合我们所知道的和所能想象的一切。一张包罗万象的地图！这长期以来一直是一个圣杯。 需要明确的是，没有任何人类行为在进行映射。系统本身，即 LLM，正在映射世界的每一个比特，所有事物、所有属性、所有艺术、所有文字、所有想法。而且令人惊奇的是，它创建这张地图、这个潜空间，不是零敲碎打，而是同时一次性完成的。（要做到这一点，需要庞大、耗能、大规模连接的芯片集群，用数英里的电线连接起来——这就是如今供不应求的著名数据中心。） 在训练过程中，LLM 被输入了数百万本书、数十亿个网页和来自社交媒体的数十亿页文本。它阅读每一页上的每一个字，一旦整个资料库被载入其“脑海”，它会大规模计算所有相互连接的向量，所有相互指向的相对方向。这种大规模同步并行计算的规模是惊人的。然后它丢弃书籍、文本、图像，只保留这张由方向和向量组成的纠结网络。这数十亿个方向被称为它的参数。随着我们构建越来越大的模型，映射越来越多的材料，参数也在增加。最新的前沿 AI 模型包含数万亿个参数，意味着有数万亿个方向，或者说数万亿个属性，用它来映射它所见过或想象过的每一个想法或事物。 像一本书这样复杂的东西，在潜空间中既是一个点，也是一段旅程。一个故事中遇到的所有概念（窗户、午后散步、街道、小贩、聊天、愤怒、打斗、原谅）都是方向，随着句子的堆积，方向发生变化，朝一个方向走，然后与另一个方向相交。故事实际上就是潜空间中的一段旅程，这非常像我们阅读时的旅程体验。 因此，一本书包含潜空间中的一个向量序列。但一本书的整体意义本身也只是一个单独的点或方向。例如，如果我提到《伊利亚特》这本书，我指的是整本书，它的向量与其他史诗战争叙事如《贝奥武夫》、《摩诃婆罗多》，甚至《现代启示录》密切相关，因此“在附近”，尽管它们许多部分只是松散地相交。一个事物或想法与相似事物的相关性越高，它共享的方向（向量）就越多。这在一定程度上是 LLM 知道事物方式的一部分。它们寻找附近的模式。 当你向 LLM 提问时，它会在潜空间中找到答案。你的问题本身开始于一个方向，这个方向指向答案。LLM 逐一处理提示中的每个词，每个新词都会改变它前进的方向。模型随着提示的每个词在潜空间中移动，一步步地搜索答案。这样，答案是生成的，而不是找到的。 我们天真地想象 LLM 有一个头脑，先想出一个想法，然后表达出来。但 LLM 是在写词的过程中找到答案的。词语背后并没有一个预先形成的想法，然后再被翻译成语言。词语本身就是思考。穿过潜空间的路径和答案同时发生。在最现代的 LLM 版本中，模型会经历一个“思维链”中间阶段，在思考问题时草草记下词语和想法。即使在这里，思维链就是思考本身，而不是在别处发生的思考的报告。模型不是先私下推理，然后写下来——写下来就是推理过程。 当答案沿着提示的方向生成时，自然的问题是 LLM 如何知道何时停止？它如何知道何时是正确的？令人惊讶的答案是，“正确性”、“完整性”和“连贯性”在这个空间中也是向量。任何正确答案都与其他事实正确的陈述共享相同的“正确性”方向。换句话说，正确性、真实性、连贯性、完整性、理解等本质上都是这个空间中映射的模式。因此，LLM 不仅寻找事实，而且始终试图将它收集的词语朝着“真实”的方向移动。真实、完整、连贯不是位置，而是方向。答案总是可以被更推向那个方向（更精确、更具体、更共识），或者被拉回来（更奇幻、更诗意、更通用、更易懂）。 这就是潜空间的美妙之处。你可以轻松地将一个事物或想法移动到一个新的方向。这一点在图像生成器中最容易看到。一种媒介的风格，比如水彩画，或者某个特定艺术家的风格，可以从一幅画转移到另一幅。你可以要求 AI 将温斯洛·霍默的水彩风格转移到你制作的黑白素描上。那个温斯洛·霍默的风格是潜空间中的一个方向，你的素描也是潜空间中的一个方向，你的提示会将你的素描沿着霍默水彩的方向移动。你也可以要求相反的方向。你可以提示 AI 将你的素描风格转移到温斯洛·霍默的画作上，它就会将画作沿着潜空间中更“你”的方向推动。 这也适用于想法和概念。每一个概念都是一个方向。你可以将火药的概念应用于罗马人。我们的提示可能是：“如果罗马人发现了火药，世界历史会是什么样子？”于是 AI 将罗马帝国在历史中的大致方向，在潜空间中进一步朝着火药的方向推动。这是一项巨大的智力成就，因为它需要对罗马历史的深刻理解，以及对火药化学的深刻理解。很少有人类能同时精通这两者，但 LLM 可以。即使是人类专家，也可能需要数周时间才能填满这两个想法之间的所有可能新连接。LLM 轻松做到这一点，因为对它们来说，潜空间是连续的。潜空间不仅包含所有真实的事物，还包含基于其训练的所有可能的事物。当模型搜索这张广阔的地图时，存在的和可能存在的之间没有真正的区别，除了“真实”、“历史”或“实际”的方向。 此外，潜空间不止一个。随着参数的增加，空间也随之增加。随着模型训练所用的材料变得更加精挑细选，也会改变它们的潜空间。随着模型纳入更多种类的输入——物理数据、声音、环境传感器——它们的潜空间也在扩展和变化。今天可能有上百个潜空间；明年可能有上千个。我们才刚刚开始理解它们如何工作以及能做什么。巨大的潜力就在前方。以下是我对如何利用潜空间这一新媒介的推测。 **原型设计**– 音乐家布莱恩·伊诺曾抱怨说，计算机的问题在于它们体内没有足够多的非洲元素。在潜空间中，非洲只是一个向量。你可以给任何事物添加更多非洲元素。增加电子表格、自行车、瑜伽、奥运会、密码、厨房、SAT考试、汽车仪表盘等事物中的非洲元素，看看会发生什么。用其他属性重复这个过程。 **空白空间发现**– 潜空间充当着可能性的连续地图。这些可能性中的大多数还不存在——至少目前是。我们所知的空间，例如已知材料、已知蛋白质、已知棋局、已知绘画方式，只填充了零散的斑块，它们之间有大量的空白空间。已知事物之间的空白空间对我们来说是未知的，但它们已经在潜空间中被映射了。我们现在有了新的工具来系统地探索这些空白空间。天文学和占星术之间有什么？蓝草音乐和芭蕾舞之间藏着什么宝藏？那又怎么样呢？