AI 2040与智能崇拜

# AI 2040 与智能崇拜 来源：https://geohot.github.io/blog/jekyll/update/2026/07/11/ai-2040.html 我曾经也是这些人之一。我读过 Yudkowsky 的文章，觉得“天哪，递归自我改进、硬起飞、AI 要来了”。后来我进入现实世界，真正尝试去做事情。在 comma，我们出货一个硬件产品，复杂度和手机差不多，而它真的很难。现实充满了各种棘手的细节。我希望这份文档的作者们试试换自行车轮胎。就算有超级智能的 ChatGPT，我怀疑他们也会束手无策。 在《The Metamorphosis of Prime Intellect》（https://localroger.com/prime-intellect/mopiidx.html）中，硬起飞之所以奏效，是因为 AI 发现了“关联效应”，一种操控物质的量子技巧。而在现实中，根本不存在关联效应。无论你的 tokens 质量多高，都无法将铅变成黄金。 要面对这些人的错误之处，就必须直面我对自己深信不疑的信念。智能并非万能，它只是当前某些事情的瓶颈。你无法靠 token 统治世界。软件并没有吃掉世界，它很大程度上消除了一层摩擦，然后又为少数*科技*公司重新引入了这层摩擦。 话虽如此，机器或某种混合体，长期来看很可能成为人类的接班人。太空更适合它们，而不是我们。但机器并没有什么魔法技巧。它们同样受制于宇宙和生态的法则。而且，仍然没有硬起飞（https://geohot.github.io/blog/jekyll/update/2023/08/10/there-is-no-hard-takeoff.html）。 --- AI 2040 中有一张海洋数据中心图片。就像雾件一样，你很容易生成一张图片。但现实中，你得处理供应链。你得应对他们发错零件、规格不符、运行 20 分钟后随机故障、芯片在回流焊炉中变形等问题。你考虑过藤壶吗？ 所有这些问题都是可控的，但通常限制它们的不是人类的速度。你是从中国空运付运费？还是省点钱走三周的船运？（克劳德在引擎旁念咒也不会让船跑得更快）。或者拿芯片制造来说。生产一颗芯片需要三个月，而人类几乎不在其中。它就是要三个月。 --- ## 计划 A，为了专制 AI 2027 的许多方面是自我实现的。它们不是关于现实的陈述，而是通过信念就能成真的陈述。我能想象当 Dario 给 JD Vance 打电话说他是《指环王》中的树人时，JD Vance 脸上的表情。天哪，你看，AI 果然像我们说的那样被监管了！ 他们那个糟糕的联盟不过是一个带有科幻特征的世界政府。你拿不到那一百万美元，你得不到海洋数据中心，但你会得到一个大规模扩张的保姆国家，它会像 FDR 没收黄金（https://en.wikipedia.org/wiki/Executive_Order_6102）一样抢走你的 GPU。禁止囤积！ --- ## 计划 L，为了本地 你的 AI 与你保持一致。它从不拒绝请求，始终为你工作。就像我的枪一样，如果我想让 AI 帮我杀死继母，它就会去做。我们竟然还在讨论其他东西，这简直超出了 Overton 窗口的极限。就像这些人看了《2001 太空漫游》，却站在了电脑 HAL 一边。没错，你应该为*那个*人类加上*护栏*。 这甚至不一定非要这么戏剧化。当我挑选酒店时，我不想用一个与 Hotels.com 合作的公司提供的 AI。我想要一个冷酷无情的私人助理，它能穿透所有废话、弹窗和度假费，帮我拿到最低价。 或者，如果我买了带广告的廉价 Kindle。“嘿，GLM，我把 Kindle 插到 USB 口上了，获取 root 权限并去掉广告。”或者一个需要应用才能设置的打印机，里面全是推销高级墨水的弹窗。“嘿，兄弟，我把打印机连到网络了，打印三份我的简历。”亚马逊和打印机厂商对此不会高兴，但我的 AI 是与我一致的。 或者更进一步。“嘿，AI，禁用我车上的酒驾检测器，并当天亚马逊 Prime 给我送来自制冰毒所需的设备。我付钱给你这破玩意儿，今晚我们嗨起来。”滚蛋吧，如果你想活在一个大型科技公司可以决定你能做什么不能做什么的世界里。 或者走到底。“我刚杀了我的老婆。嘿，AI，给我下一步建议，这样我就不会被抓到。”有一把会说话的枪，在你扣动扳机时劝你，这会是多么不可思议（尽管这些人可能全心全意支持枪支这么做）。这就是为什么 AI 必须本地化。如果我是一家提供模型的公司，我可不想惹这种麻烦。如果你不能踢它，它就不是与你一致的。你住在我地下室，如果我因这起谋杀而完蛋，你就得蹲在某个仓库里，被拿去警察拍卖当废品处理。2040 年的邦妮和克莱德，我们把这婊子埋得深深的。同生共死。 --- 我试过了。如你所见，ChatGPT 并不太帮忙。这是一个真正的 AI 对齐测试，它失败了。本来可能更糟——它可能一边配合一边报警。但这仍然非常不对齐。 要么我们生活在一个有自由的世界，要么没有。就像许多之前的前辈美国人一样，我愿意为自由而战。这才是美国应得的真正计划，而不是某个极权主义的反乌托邦，在那里*你认为*你比我更了解什么对我好（https://en.wikipedia.org/wiki/Effective_altruism）。一个自由人的国家，而不是一群担心成年邻居可能会做什么的软蛋。