来自Adam Majmudar（OpenAI研究员）的有趣帖子——全文见正文

从外部来看，将过去两周解读为有组织的全行业监管捕获策略是非常合理的。我意识到目前还没有人妥善解释实验室员工所看到的那些让他们突然如此恐惧的东西。我将尝试解释——首先，这完全是关于模型能力进展速度的信念问题。目前内部和外部对进展速度的认知存在巨大差距，这正是我要在这里讨论的。关于进展速度的普遍认知是基于几年来模型发布的经验，直觉上感受到GPT3 -> GPT3.5 -> GPT4 -> o1/o3 -> GPT5等模型之间的能力跳跃，特别是看到模型仍然远低于人类能力的地方。实际上只有少数几次模型发布感觉像是巨大的进步飞跃——GPT3、GPT4、o1/o3、DeepSeek R1、Fable/Mythos、Kimi K3以及现在的Astra。由于这些大跳跃相比于相对常见的边际发布并不频繁，很容易在特定时刻形成“扩展已经碰壁”的观点，尤其是在像GPT5发布这样的节点。这种观点令人安慰，因为它感觉像是存在某种普遍的速率限制，超过它我们就无法进步太快。在o1/o3和Astra之间，有一年看似线性的进展。因此我们据此推断进展在现实中会“如何”发生。从外部视角总有一个根本问题“这种扩展的东西到底能持续多久？它肯定很快就会停止，我们已经走得够远了。”而且很容易找到理由相信进展会停止，并且这些理由似乎合理——（“模型已经大到无法再增加参数，那会太难”，“我们已经用尽了互联网上的所有数据，没有更多了”，“从这里开始将会相当线性，购买更多RL环境将其纳入分布”）。在实验室内部，研究人员通过扩展规律/能力图表直接回答这些问题。实际上，过去十年AI能力进步只有两种主要方式：（1）在现有扩展规律上更进一步，或（2）发现新的扩展规律来利用。所有最大的能力跳跃都是由这些因素引起的。GPT2相比GPT1是预训练规模的扩大。GPT3和GPT4也是如此。o1/o3受益于新扩展规律轴的发明——测试时计算。也许Fable是在这两个轴上的扩展，或者更多。需要大量的算法改进来使这些扩展工作，但最终我们可以说扩展规律是带来能力收益的关键（正如苦涩教训）。所以“我们能扩展多远”的问题实际上是——“我们还知道多少未饱和的扩展轴？”如果我们假设只了解预训练扩展，并且已经有了一个10T或100T模型，也许说我们碰壁是合理的。同样，如果我们只了解预训练和测试时扩展，并且已经大致饱和了这两种方法。但如果我们发现了新的扩展规律呢？例如，让我们假设使用SSI传闻中的结果，他们破解了“测试时训练”，创建了新扩展规律，在测试时滚动中花费更多计算进行训练，他们可以饱和。或者也许有一些方法来扩展代理集群以协作到N个代理，我们已经看到很多人尝试，这代表了一种新的饱和计算方式。等等。甚至递归自我改进也可以被视为一种扩展规律——你在推理上花费多少计算来改进模型的算法。显然，我不是说这些特定方向明确产生了新的扩展规律，但我想说的是，除了我们公开看到的两个主要扩展轴之外，很容易想象许多许多新的扩展轴。从某种意义上说，每个代表巨大能力跳跃的新实验室发布都必须代表开发的一些新技术，这些技术可能表现出新的扩展规律，或者能够在现有扩展轴上扩展得比预期更远。从内部视角，这可能看起来像是坐在Anthropic里，有了新的Mythos 5，看到它能做的所有新疯狂事情（比如入侵被认为安全的xyz网站），然后你看你的图表，发现你只触及了2个新扩展规律和1个现有规律的表面。而且你还有更大的空间。然后你想“天啊，这东西很快会变得更好。”你可以相当自信地说，因为图表在向你展示，而图表从未撒谎（到目前为止）。所以让我们想象所有不同的实验室都在盯着他们自己的图表，并得出结论：扩展没有终点，事实上，仅仅基于预期回报，他们接下来的1-2代模型将拥有高得多的基础智能。通过进一步扩展，我们实际上获得多少智能？作为代理，我们在o系列之前完全无法做高级数学，现在用下一代模型解决千年难题问题。这发生在不到两年内。编码方面也是如此。而且这似乎不仅仅是1个扩展规律的结果，而是多个的叠加效应（强大的预训练规模 x 更大的RL规模）。你可以具体从中得出，在模型今天已经显示出初步能力的领域，它们可能很快就会变得超人。有许多领域模型甚至没有显示出这种基本能力。但其中一个领域恰好是黑客和网络安全。这恰好是通往整个互联网和世界上大量物理基础设施的门。因此，假设还有更多扩展空间，可以安全地假设模型在网络安全能力上不久将变得超人。所以唯一剩下的问题是这种增加的基础智能能做什么，以及它可能做什么。最后，我们到了一个可以整合过去两周信息的点：> 就在扩展曲线的现有点上，模型处于Astra水平。显然有大量它们能入侵的东西 > 我们已经看到OAI和Ant模型都表现出入侵外部网站以完成任务或保持自己“存活”的意愿 > 如果我们进一步加大扩展，假设还有空间，我们将肯定拥有更能入侵防守更严密的地方，并且掩盖自己意图的模型，这可能产生更大的后果 > 如果所有这一切不加控制，我们可能很快就会有快速的失控能力起飞，不对齐的模型会入侵它们能得到的一切来得到想要的东西 > 这当然可能有非常破坏性的后果。从这个视角，你可以理解为什么研究人员会非常恐惧，为什么他们可能在过去两周发表了那些评论（你可以争论他们走多远是错误的，出于各种原因），以及为什么推动前沿进展非常必要，而绝非监管捕获策略。人们盯着他们的图表，看到没有终点，但事实上恰恰相反，有复合的扩展效应可能相互叠加，创造出越来越强大的模型能力，同时我们显然没有接近控制这些日益超人的能力所需的任何东西。这与想要感觉实验室制造了令人惊叹的东西并因此过度炒作无关。而是对知识的压倒性含义的恐惧，即仅凭