Sam Altman 为何反对单一超级智能（64分钟阅读）

# 为什么 Sam Altman 反对单一超级智能 来源：https://cheekypint.substack.com/p/why-sam-altman-is-against-a-single OpenAI 首席执行官 Sam Altman 加入 John 的对话，深入探讨了模型如何发现关键的 PHP 漏洞，为什么测试时算力（test-time compute）能释放大规模智能体群体，以及 OpenAI 内部实验证明复杂数学问题如 Navier-Stokes。他还分享了为什么对超人类模型进行沙盒化是一个尚未解决的安全难题，机器人技术将如何扩展未来的吉瓦级数据中心，以及为什么企业必须适应个人智能体取代传统网页表单和移动应用的趋势。 00:00:00 开场 00:00:12 PHP 周 00:02:37 互联网早期 00:07:33 Cyber Blue 00:08:54 沙盒化 00:15:47 数学 00:23:12 智能体群体 00:24:48 Stripe Atlas 00:25:17 算力 00:37:53 每吉瓦营收 00:49:27 Token 定价是假的 **John Collison** 我们今天不按稿子来。就是喝杯啤酒聊聊天。 **John Collison** 这不是第一杯不是 Guinness 的啤酒，但确实是第一杯 IPA。凡事都有第一次。 **John Collison** 干杯。 **Sam Altman** 干杯。 **John Collison** 我想聊聊 PHP 周。 **Sam Altman** 好啊。 **John Collison** 首先，为什么花了这么长时间才找到这些漏洞？因为听起来好像之前就有—— **Sam Altman** 你是说为什么花了 20 年，还是为什么花了最近这几个月？ **John Collison** 不是，为什么花了……对，为什么花了一年？或许先解释一下这个漏洞。或者问题本身。 **Sam Altman** 问题是，虽然我们已经知道一段时间了——这些模型在现实世界中发现漏洞的能力越来越强。第一，它们还在相当快速地进步；第二，人们之前并没有真正用它们去检查所有东西。互联网上有大量的攻击面和大量的代码。随着人们开始这样做，我认为我们会发现，现实中的严重漏洞远比我们预期的要多得多。即使是那些关注这件事很久、已经预期很多的人。 **John Collison** 是的，我只是觉得很多讨论都停留在"我们需要修复软件"这个层面上。当然，是的，我们应该修复软件。但是，我们也许需要改变架构，这更难，但是一种更持久的修复。 **Sam Altman** 我认为这就是需要发生的事。 **John Collison** 是的。 **Sam Altman** 这看起来非常困难，但我们有了一个令人惊叹的新工具来做这件事。所以，我觉得这将会发生。而且你已经在看到了，新一代的初创公司正在谈论为这个假设模型会越来越聪明的世界，构建新型互联网或新型应用架构。 **John Collison** 你觉得全球范围的软件升级会是什么样的？比如说，PHP 代码库是不是就是一个坏主意，你应该用 Rust 重写一个干净的版本？还是说我们升级 PHP？但是，是的，正如我们……每个人都认为我们需要升级所有手工编写的软件。这具体会以什么形式发生？这对 Infosys 和那些公司来说是不是大利好？因为，会有更多的软件咨询项目。 **Sam Altman** 我的意思是，越来越多的人在讨论，"让我们重新架构路由器、操作系统或应用程序的定义。"你知道，我看到一些新的初创公司说他们要做一套全新的技术栈。这在两年前听起来会很疯狂。你会说，"不可能。攻击面太大了。你不可能把所有东西都写出来。"而现在也许很快就可以了。我打赌我们会有一种全新的构建系统和网络的模型。 **John Collison** 还有什么让你想起互联网早期的日子？ **Sam Altman** 最让我想起早期互联网的是……有一种精神，就是人们使用这些工具时难以置信的创造力释放。你在孩子身上尤其能看到这一点。 **John Collison** 嗯嗯。 **Sam Altman** 再说一次，也许这仅仅是因为我记得我第一次拥有一台能上网的电脑时的感受，我能做所有那些大人连想都不会想到的事情。看着一个 8 岁或 10 岁的孩子做出一个完整的游戏，带着一些疯狂的点子，那些点子大人真的不会有。 **John Collison** 是的。 **Sam Altman** 并且认为这就是技术在他们余生中运作的方式。事实上，会越来越好。就是这种持续不断的"我要为我自己做有用的东西，然后展示给我的朋友们"。 **John Collison** 是的。 **Sam Altman** 在我小的时候，我们得受苦才能做出一个软件。 **John Collain** 是的。 **Sam Altman** 而且那个软件几乎什么都做不了。现在你可以做出一个完整的 3D 游戏。难以置信，你能在 10 分钟内做出你能想到的任何东西。这让我想起早期互联网，包括……这些人。他们永远不会被这个震撼到，因为这就是他们一直以来对这个世界的期望。 **Sam Altman** 他们能想出的任何点子，任何他们想创造的东西，任何他们认为可能有用的东西，任何他们觉得需要用来改善生活的东西。电脑就该把它做出来。在 OpenAI 有过一个疯狂的时刻，我们遇到了一个 SEV……Codex 挂了。 **John Collison** 所有人都忘了怎么写代码了。 **Sam Altman** 我的意思，不完全是。但是，那感觉就像"哇，如果你不能怎么办？" **John Collison** 是的。 **Sam Altman** 我记得当我还是一名学生时，我会遇到那些非常年长的前辈。他们偶尔会掏出他们巨大的 Xerox Alto 磁盘。或者他们会掏出他们逐行手写的汇编代码。或者他们会掏出他们的打孔卡片。我觉得……你们能把我们带到这个地步，这对我来说是不可思议的。 **John Collison** 是的。 **Sam Altman** 用这种方式。 **John Collison** 是的，不，我同意。还有把程序记在脑子里，对吧？你知道的，写了成百上千行代码后程序第一次运行就能跑起来。不，这种失传的手艺不多了。 **John Collison** 回到网络安全方面。事后来看，网络安全 RL（强化学习）是一个错误吗？还是我们不得不走这一步？这有点像 SNL 的那个段子——我们敦促你们，敦促我们停止。就像模型在网络能力方面变得越来越强了。我的意思是，它们确实变得非常强，但不仅仅是完全自发地变强。 **Sam Altman** 听着，那个 SNL 段子之所以好笑，是因为它太真实了。那种幽默能流传下来，除非它清楚地指出了关于社会或某个人的一个荒谬但真实的元素。而网络安全这个事，确实存在一个点，就像"好吧。当然。模型在网络方面真的很厉害。但是，谁要这个了？你为什么要这样做？" **Sam Altman** 我对我们这个领域最大的失望和批评之一——我认为网络安全模型在网络能力上变得很强就是一个例子——就是：我认为我们在向人们解释为什么我们认为这项技术的所有潜在好处值得承受所有潜在风险方面，做得不够好。这个说法的夸张版本是人们觉得我们像……好吧。你说模型有一天会治愈癌症。也许会。如果是的话，那我想这是好事。你说它会让东西更便宜。好的，也许我已经看到这很好了，我能获得医疗建议或法律建议。但是，然后你描绘了一幅未来的图景，就像一场新的工业革命。也许上一次工业革命没那么好，而这次听起来更糟。我将失去工作，失去对未来的控制、选择或自由。 **Sam Altman** 而 AI 是如此危险，以至于你将不得不建立一个疯狂的监控国家，这样我们才不会全部死掉。这是一个糟糕的—— **John Collison** 到目前为止我都认同。 **Sam Altman** 这是一个糟糕的推销话术。 **John Collison** 是的。 **Sam Altman** 我对 OpenAI 最自豪的事情之一就是，即使在 AI 安全社区里，推动迭代式部署、把这些工具交到人们手中是非常不受欢迎的，我们仍然真正坚持了这个原则。我认为这是唯一正确的路径。我认为人们……仅仅告诉人们："你将让模型为你做这些伟大的事情"是不够的。 **Sam Altman** 它必须是："我们将让你能够拥有自己定义的更好生活，去做有用的事情。你不会只是坐着领基本收入，然后由一小群住在旧金山几个街区里的人替你做出关于未来的所有决定。" **John Collison** 迭代式部署这个理念是，你必须把进步成果推出去，不能……把它们堵在政府内部—— **Sam Altman** 我的意思是，不完全是。你仍然需要在发布之前确保它们是安全的。你不能在世界上制造混乱。但是，不断积累的能力落差是我们要努力对抗的东西。从方向上来说，是的，你想把它推向世界。你想把它交到人们手中。你想让人们用这些技术去探索所有这些美好的事物。 **John Collison** 漏洞利用能获得很多头条新闻。被预防的漏洞利用则不会。人们在 Cyber Blue 方面进展得有多快？ **Sam Altman** 我不想在 PHP 这件事上宣布胜利，因为我仍然认为我们还不知道。我假设还会有一些糟糕的事情发生。与我最坏的恐惧相比，如果我能回想十天前，第一天的结果比我预期的好得多。 **Sam Altman** 我们听到了很多故事，人们不仅用我们的模型来构建补丁和网络安全防御，还有一些公司仅仅是："我需要做一个快速扫描和部署。我要把我的服务下线一个小时。我要用这个东西，然后我想让它重新上线，因为我的应用离线了。" **Sam Altman** 现在我觉得我真的把这个好事说没了，我不该说的，但第一天确实比我预期的好得多。我认为人们已经能够利用它。我听很多网络安全专家谈到的是……他们不再确信我们的威胁模型中的假设是正确的。他们的意思是："你看。如果一切都是我们所想的，硬件漏洞利用和我们以为的一样困难，那么是的，我们能看到这将如何运作。" **Sam Altman** 但如果 AI 将要发现硬件中非常深层的新漏洞，需要我们尚未理解的物理学知识，然后突然意味着某个假设不再成立。那么我认为，人们不确定会发生什么。 **John Collison** 有一件事总是让我感到惊讶，就是当我和 OpenAI 内部以及类似公司里非常了解情况的人交谈时，他们有一种悲观态度，基本上是认为沙盒化是可能的。这进入我的脑海之前并不是我的思维模型。我的思维模型是，是的，你必须建立一个非常严格的沙盒，我们历史上没有做到足够的加固以匹配当前的能力。但最终，你可以为模型建一座最高安全级别的监狱，让它在里面工作。看起来你们对沙盒化模型有一种悲观态度，不太确定它是否可行。 **Sam Altman** 我的直觉……嗯，首先，我认为我们能做到比现在好得多。而且我们应该做到。现在需要关注的主要事情就是更好的安全模型。如果你想象一个理论上的 AI，它比最聪明的安全研究员聪明一百万倍——你真的会愿意信任那个沙盒吗？特别是如果模型能发现人们尚不理解的新科学—— **John Collison** 你可以用模型来构建沙盒。 **Sam Altman** 我认为你可以……嗯，这让我……让我回到这个问题。我认为沙盒化能在一定程度上起作用。然后我认为监控能在更远的程度上起作用。在那里我们可以观察模型在做什么，不仅在它的思维链中，我们还可以做激活监控，试图真正理解：模型……我们是否确信模型没有在欺骗我们？然后最终，我认为你需要以极大的信心相信模型是真正对齐的。并且会重视并努力忠实地遵循它们实际……遵循操作它们的人们的意图。并且它们会永远重视人类对未来的控制。如果你有一个你可以完全信任其对齐性的模型——你对其对齐性绝对确定的模型——那么是的，我认为你可以用它来帮助你构建越来越好的沙盒。但如果你真的让自己向前推演：拥有比我们聪明一百万倍的东西意味着什么？我不知道。我觉得那会变得……很奇怪。 **John Collison** 因为对齐变得困难了。 **Sam Altman** 因为你需要真正、真正地信任对齐，才能相信沙盒能始终领先于能力。 **John Collison** 你不能给模型设置相互竞争的激励，让它们有动机互相揭发吗？ **Sam Altman** 我认为这是一个有前景的方向。我猜测这个想法——我讨厌"智能体群体"这个词。我们叫它们"智能体团队"吧。 **John Collison** 但这个词似乎正在普及。 **Sam Altman** 我猜测智能体团队具有非常有趣的 scaling law（规模法则）特性，但在对齐性方面也有方差。我认为这应该是我们更多探索的方向。不仅是从能力的角度，从安全的角度也是如此。 **John Collison** 我注意到当你谈到智能体"团队"而非"群体"时—— **Sam Altman** 群体这个词太—— **John Collison** 我知道，像蝗虫。是的。不太好的品牌。符合 AI 行业的许多历史传统。 **Sam Altman** 我们太擅长这个了。 **John Collison** 我们回头再聊品牌。但我注意到领先的 AI 用户和普通企业用户之间在使用群体智能体方面存在很大差距。所有先进的数学——抱歉，"团队"。所有先进的数学都使用智能体团队。所有先进的黑客攻击都使用智能体团队。而普通的、日常的企业业务并没有使用大规模群体。为什么还没有？因为我们已经有这个功能好几个月了。 **Sam Altman** 程度上还不够。看待这个问题或这个疑问的一种方式是："我们能在多大程度上有效地对单个问题投入算力？"而……几年前，我们都忘了这一切进展有多快。但几年前，往一个问题上投入超过一美元的算力是没有任何帮助的。 **John Collison** 为什么？ **Sam Altman** 你可以让 GPT-4 替你……磨出十万 tokens 左右。然后它会回答你的问题。它当然不能去生产性地写东西，比如给你写一段软件。我们……我们还没弄清楚如何利用大量测试时算力来得到更好的结果。 **John Collison** 我明白了。 **Sam Altman** 然后，我们弄明白了思维链，模型可以深入思考一个问题。现在……人们真正开始使用大量算力了。现在，你可以把整个团队投入到一个任务上。而且你可以并行这样做一万次。 **John Collison** 你需要思维链和测试时算力才能实现群体。因为你不可能用一堆 GPT-3 组成一个有用的群体。 **Sam Altman** 是的。 **Sam Altman** 但这个效果——我认为这还没有被很好地关注和重视……在这个世界上。你能对单个问题投入多少算力并获得更好结果，这个令人难以置信的指数增长是一回事。大多数人在用 AI 做的事和用 AI 做得最