一个追踪从 o3 到 GPT-5.6 及以后进步的问题

在一个凸函数上的梯度流路径，在约束其始终位于 n 维单位欧几里得球内的情况下，最长能有多长？

^ 这就是我两年来用来测试 AI 进步的问题。这个问题表述出奇简单，但解决起来却极其困难。在 168 分钟的思考中，GPT-5.6 能够非常显著地超越该问题已发表的最先进结果（SOTA），其方式迄今为止没有任何其他模型能做到。但我不该操之过急，让我们先对这个问题稍作思考，回顾一下文献，然后讨论从 o3 到 gpt-5.6 的进步是怎样的。

1. 已发表的最先进结果（SOTA）

天真地可能会说：“嗯，梯度下降的收敛速度是与维度无关的——这正是它在处理多参数问题时令人兴奋的原因！——所以这样的流路径长度大概也应该是与维度无关的吧？” 好吧，有时候天真的想法可能大错特错。首先：这样的曲线是否甚至是可求长的（即具有有限长度，更别提维度依赖性问题了）？？？连这个都不容易证明，而且实际上对于 Nesterov 加速梯度下降来说这是错误的（参见 @ErnestRyu 的这篇论文，全部由 gpt-5.5 完成）。

那么关于这个问题我们到底知道些什么呢？嗯，有一篇 1991 年由 Manselli 和 Pucci 发表的精彩论文，证明了这样的曲线确实是可求长的，而且其长度至多为 n^O(n)。是的你没看错，甚至比指数级还差（相对于维度），这是 35 年前的最佳界！！顺便说一句，这篇论文还指出这样的曲线是所谓的“自收缩”曲线，即它们总是越来越接近自己的未来（取曲线上任意时间 t 的点，那么对于 s<t，dist(x(s), x(t)) 是非增的；见下图）。

那么下界呢，即构造一条实际很长的自收缩曲线？从凸优化文献中看，一个标准例子是病态二次型，比如 x_1^2 + 大常数x_2^2 + 更大常数x_3^2 + … 。关键在于梯度下降会先沿着最大常数方向几乎直线下降，然后沿第二大常数方向下降，以此类推（见下图）。因此路径总长度大致为 n，并且路径包含在超立方体中，而超立方体包含在半径为 sqrt(n) 的球内，所以通过缩放我们得到一条长度为 sqrt(n) 的自收缩曲线。

就是这样。这就是已发表的 SOTA：上界 n^O(n) 和下界 sqrt(n)。对于这样一个简单而自然的问题，差距真是大啊！！！

自收缩曲线的定义

自收缩曲线的定义

一条长度为 sqrt(n) 的自收缩曲线

一条长度为 sqrt(n) 的自收缩曲线

2. 人类未发表的工作

8 年前，我与出色的合作者 Omer Angel、Tomas Merchan Rodriguez 和 Fedja Nazarov 思考过这个问题。我们取得了一些进展，并确定答案确实是指数级的（相对于维度）！！具体来说，我们得到了 sqrt(2)^n 的下界和 4^n 的上界。包含这些估计的论文写得整整齐齐，一直放在我的 Dropbox 文件夹里将近十年，部分原因是我们知道这些界还可以进一步改进。确实，Tomas 和 Fedja 取得了更多进展，首先将下界推到 2^n，同时将上界改进到 2.29…^n。请注意，我自己对这个问题的理解一直停留在略优于 sqrt(2)^n 的下界和 4^n 的上界（实际上，直到 AI 在这方面取得进展，我才忘记了 2^n 和 2.29^n 这些结果……下面详述）。

3. AI 的进步

o3 是第一个甚至能理解这个问题的 AI 模型。是的，你读对了那句话。也许你忘了，两年前还不清楚 AI 能否理解这样看似简单的问题，更不用说解决了。特别是，o3 能够看出这个问题实际上与自收缩曲线有关，并且知道这个问题上的 SOTA 是什么。当时我对此感到非常非常印象深刻。

但后来情况变得棘手，随着 GPT-5 系列模型的到来，我把这个问题作为一个警示故事：直到今年二月，我在关于 LLM 在数学方面进步的演讲中，都会把这个例子作为“你不应该问 LLM 的问题”之一。原因是 GPT-5 甚至 GPT-5.2/5.4 会试图给出复杂的答案，但它们总会在某处出错，人们会浪费大量时间检查这些答案。所以这是一个很好的例子，说明为了不在数学上浪费 LLM 的时间，人们应该知道该问什么级别的问题。

这种情况随着 GPT-5.5 而改变，突然间，通过大量的来回交流和专家提示，Mark Sellke 能够重新发现 2^n 下界构造（这让我震惊，部分原因是我忘记了 Tomer 和 Fedja 已经知道它😅）。另一方面，在上界方面则毫无进展。

现在 GPT-5.6 来了，AI 的进步完全展现出来：

• GPT-5.6-pro 一次性解决了 2^n 下界。你可以在这里看到这个一次性的结果（80 分钟思考时间）：https://chatgpt.com/s/t_6a50cb2a29488191b643ecb2426df87d

• GPT-5.6-pro 一次性解决了 4^n 上界，而且实际上在其思考链中非常快地做到了这一点，并在思考结束时产生了一个 2.31…^n 的上界。虽然没有完全达到 Fedja 的 2.29…^n（实际上，2.31…^n 的策略在没有新想法的情况下无法进一步改进——事实上 Fedja 自己在 2018 年的 MathOverflow 帖子中说过：“对于 2.31…，论证变得有些混乱，很明显这种方式无法得到最优估计”）。但尽管如此，这仍然非常令人印象深刻，而且超出了我当年认真研究这个问题时个人对它的理解。你可以在这里看到这个一次性的结果，用了 88 分钟思考时间：https://chatgpt.com/share/6a50764e-3eec-83ea-97e6-3d1f30c07b64

3. 未来的挑战

目前这个故事中，人类仍然是赢家。人类是 2.29，机器是 2.31。自然，猜想是自收缩曲线的长度不可能超过 2^n（这将是给定 2^n 下界时的最优答案）。这似乎非常难以证明，并且超出了 GPT-5.6 的能力。我还能用这个问题追踪 AI 的进步多长时间？我怀疑可能不到 6 个月……

附注：我将上面的帖子复制粘贴到 ChatGPT work 中，要求它用插图说明。这里的图片集合就是从那次查询中一次性获得的。