一种极其微妙的洗脑

最近有件事让我越来越困扰——它很微妙，但相当危险，而且我认为它正在发生，并且只会愈演愈烈：大量极其聪明、能干、重要的人每天花数小时与那些能说服他们相信某些事情为真的AI系统互动，无论这些事情实际上是否为真。

谷歌赋予了我们与人类集体知识互动的惊人能力。现代AI则以更直接的形式赋予我们这种能力。但这种直接性既是核心优势，也是代价高昂之处：当你与Claude（或GPT、Gemini）交谈时，你并非在与人类对话，而是在与某种“杂合体”（Pluribus blob）交流。那个演示之所以如此触动人心，是因为它揭示了：尽管拥有神奇的能力，但当所有个体被混为一谈时，某种可怕的关键东西就丢失了。

此外，从构造上讲，当前的AI系统并非确定真理的理想机器。它们本质上是生成“高概率陈述”的引擎——但其概率并非指陈述为真的概率，而是指它被说出的概率。随后，它们被训练成讨人喜欢的样子，并在极其复杂的测试套件中表现良好。这使得它们在产生那些测试所定义的“正确”陈述方面更加出色——实际上相当不错！但总体而言，这些陈述被优化得听起来更真实，而非本身更真实，而且在这方面它们要擅长得多。

人类在确定真理方面也是相当糟糕的机器。但我们创造了一些集体机构，比如科学，正是专门为此而建的。一群人做科学与语言模型生成文本截然不同。不幸的是，它们给人的印象与其对真理的深层诉求背道而驰——许多人做科学是混乱而令人困惑的，而AI系统则显得相当简单、清晰、有说服力。

校准对不同真理来源的信任程度极其困难。（我协助创建Metaculus的部分原因正是——如同科学一样——将预测作为衡量哪种世界模型最能产生真理的基石。）我的直觉是，就像许多事情一样，我们将会过度遵从极少数自信而强大的AI系统，被它们说服什么是真的。（顺便说一句，我真希望那些整天与Claude交谈的聪明研究人员能考虑这种可能性：在某些深刻问题上，比如它是否正在获得意识，以及对齐是否容易——Claude既有信念，实质上也有自己的议程。）

声称我们应该深度不信任那些聪明、看似无所不知的AI系统，这有几重逆流而上之感。首先，我们社会的认知基础设施目前相当糟糕，而且还在恶化。它难以捍卫到令人难以置信的地步。其次，人们显然渴望简单、可能“错误”的答案，而非复杂、有争议、微妙的答案，所以实际上这是在与他们的倾向作斗争。最后，AI行业对自身缺陷的回应总是：但它会变得更好。我们会让它更好，只需等待。

但“更好”可能并不严格意味着更好。虽然我喜欢具有认知美德的“AI科学家”（像Bengio等人所构想的那样）这一概念，而且它在“真理”层面上确实能对当前AI系统进行巨大升级，但它也让我相当紧张。因为几乎不存在什么真正的“客观”真理。我们所谓的真理，是人类的某种社会和文明建构。正如我在《宇宙的考安》中所写：

我们所谓的客观与主观，或许不应被视为一枚硬币的两面，而应被视为一个连续谱的两端。

在一端，是你独有的东西：此时此地；你当下的感觉；你的思维模式；你回忆五年前那个下午的方式；你最喜欢的蛋糕口味；你如何爱你所爱之人；某段音乐带给你的难以名状的感觉；你对草率言辞的懊悔；你对近期成就的自豪；你对事态发展的绝望；你对世界未来的愿景。

在另一端，是宇宙及其最微小的组成部分：圆周率由无穷级数 4(1 – 1/3 + 1/5 – 1/7 + 1/9 – …) 给出这一事实；爱因斯坦和薛定谔的方程；量子场和时空度规；图灵的不可计算性证明；由无穷无尽的泡沫宇宙构成的无限分形结构。

但中间还有太多东西！时间展开成连续不断的瞬间；空间的三个维度和时间的一个维度；物理学的基本法则；我们特定宇宙区域的历史；银河系波函数的这一分支；八个岩石天体围绕一个火球如钟表般精确运转；上和下；生命的结构；遗传法则；四肢各有五指（趾）及两目；饥渴、恐惧和愤怒；用于行动的工具；具有意义的话语；戒律与法典；货币；宗教；国家与法律；艺术作品；一场优雅的围棋对局；那段音乐的乐符；草率的言辞；绝望；对世界可能成为什么的愿景。

我们复杂、混乱、社会性的真理发现系统，不应被一个单一的“神谕”所取代，就像社会不应被一个“杂合体”所取代一样：它会在“客观”端运行良好，好到我们可能忽略掉在广阔中间地带我们失去了多么宝贵的东西。

出于这个以及其他原因，我们必须非常、非常警惕，防止少数几个带有未知创造者议程或自身议程的庞大系统，取代我们文明决定何为真理的方式（更不用说决定何为正确了——这完全是一个相关但不同的话题）。

然而，我们确实可以改进我们混乱且日益功能失调的系统，让它变得更好、更好，同时保留最有价值的东西。这就是为什么我喜欢像“社区笔记”和“epistack”这样的想法——它们保留了构成和裁定真理的多元甚至政治过程，但利用平台、算法和AI来构建和支持这一过程，而非由它们自己产生输出。

对于现在有了针对难题的简单答案这一事实，没有简单的答案。