Noam Brown 论智能体集群与 RSI | Dwarkesh Patel 播客访谈

# 诺姆·布朗谈智能体集群与递归自我改进 **核心摘要：** OpenAI研究员诺姆·布朗阐释了多智能体系统如何作为测试时计算的并行延伸发挥作用，详细分析其性能特征、独特的非结构化通信模型，以及将人工智能协作规模扩展至海量水平的未来影响。 ## 计算瓶颈与并行解决方案 推理模型的性能直接关联于“测试时计算”——即模型进行思考的时长。如同人类在考试中获得更多时间能取得更好成绩，能够更长时间推敲的模型会产生更优结果。这种推敲过程涉及自我独白、情景推演和结论迭代。 然而，这种串行处理会遭遇**延迟瓶颈**。解决方案之一是**并行化**。多智能体系统允许众多人工智能智能体同步处理问题，类似于团队协作加速创业进程。这标志着测试时计算从纯粹串行扩展转向更高效的并行模式。尽管由于智能体缺乏共享上下文，并行化可能效率较低，但它仍是极具效力的扩展方式。 ## 智能体扩展的实证成果 关于将多智能体系统扩展至极端规模（如一万智能体）的数据仍较稀缺。包括OpenAI已发布的基准测试在内的大多数研究，仍聚焦于较小规模。 * **性能增益：** 对于特定任务，使用四个智能体替代单个智能体，可在成本翻倍的情况下将解题时间缩短一半。扩展至十六个智能体时，虽效率略有降低，但仍呈现相似的改进模式。 * **加速特性：** 增加智能体带来的加速效果通常呈现**略低于线性的增长**，并非完美的线性关系。并行化效率的高低高度依赖于任务类型。 * **任务依赖性：** 数学问题解决、深度研究（需扫描大量资料）等任务具有高度可并行性。相反，创作小说等创意任务从大规模并行化中获益甚微。 OpenAI的一项重大实验涉及调用**一万个人工智能智能体**，持续运行**88小时**并消耗**1300亿token**，旨在解决千禧年难题。若换算token消耗量，这相当于单个人类持续思考约4000年。 ## 核心：强大的通用模型 布朗强调，如此大规模协作的成功**主要并非归功于多智能体系统本身**。他甚至不愿将十分之一的功劳归于该系统。核心成就在于底层通用模型的强大能力。 该系统的**泛化能力**令人瞩目。模型很可能通过强化学习在一系列可验证的合成问题上训练，且几乎从未接触过如千禧年难题般宏大的任务。然而，其通用推理能力足以支撑如此大规模的协调运作。 这引发了关于**未来训练范式**的重要思考。随着模型智能化程度提升，寻找足够具有挑战性的训练问题变得愈发困难。不同于AlphaZero这类通过与同等强度对手自我对弈获得无限课程的游戏AI，当前大语言模型的训练往往涉及解决固定问题。若模型过快解决训练问题，寻找更困难的新问题将成为限制因素。尽管可能存在变通方案，但这预示着发展进程可能放缓的合理场景。 ## 智能体协作新模式：“无脚手架”方法 许多多智能体系统采用高度**结构化的“脚手架”**。这通常涉及协调智能体将任务委派给子智能体，后者再返回结果。布朗指出这种方法存在局限： * **效率低下：** 处理相似任务的智能体无法直接交流以共享见解。 * **僵化固化：** 子智能体无法在不回归协调智能体的情况下提出澄清问题，迫使其做出假设。 OpenAI采用的方法则走向相反的极端：**最小化预设结构**。智能体仅被赋予基础工具，主要是向其他智能体发送消息的能力。这些消息会插入接收智能体的上下文中。智能体必须自行学习如何高效协作。 其结果产生了复杂、涌现性的行为，类似于自然的人类协作。布朗描述了一次观察到的交互：两个智能体得出不同答案，通过讨论比较推理过程，达成共识，然后向全体广播更新后的结论。这种过程宛如自然对话或人类的思维链。 ## 未来展望：以机器速度协同工作 当前与此类系统交互的感觉出奇地自然，类似于与人类协作。但一个关键的质变将会显现：**速度**。 这些智能体集群的运行速度可能比人类思维**快十倍**（以token/秒与人类语速对比），且能持续工作无需休息。其内部协作的强度和速度远超人类团队协作。 这可能导致一种场景：由人工智能智能体组成的“影子组织”在一周内完成人类团队需耗时一年的任务。虽然智能体之间能以超人类速度沟通，但它们也能检测到与人类交互的场景，并相应调整行为，使界面更具适应性。 组织层级（如“中层管理”）的自发涌现是已观察到的现象。虽然智能体被赋予灵活性和人类文本训练所得的先验知识，但它们发展出的具体高效结构是从这一基础有机生长的。训练它们进行高效协作颇具挑战，因为它们容易陷入孤立工作的局部最优状态，但通过适当设计，它们能实现高效、结构化的协作。 *** 来源：诺姆·布朗谈智能体集群与递归自我改进 | Dwarkesh Patel播客访谈 (https://youtu.be/6AgOfiZOWiY?is=k0o9vydFZN54Zbzl)