GPT-6 Astra、循环Transformer与隐式推理
摘要
本文讨论了OpenAI的GPT-6 Astra模型发布,其在ARC-AGI-3等基准测试中的卓越表现,并探讨了循环Transformer和隐式推理的概念。
暂无内容
查看缓存全文
缓存时间: 2026/09/09 18:48
# GPT-6 Astra、循环 Transformer 与隐藏推理链
来源:https://magazine.sebastianraschka.com/p/gpt-6-astra-looped-transformers-and
过去几周发生了许多事。我确信 OpenAI 的 GPT-6 Astra 目前是所有人关注的焦点。尤其是关于其性能表现、循环 Transformer/递归深度的特性,以及 Astra 是否“隐藏”了其推理链(即思维链)的传言。
因此,在这篇文章中,我将首先分享对 Astra 的一些初步印象和对其未来发展的思考。接着,我将详细讨论“循环 Transformer”是什么,以及它(或者更准确地说,是否)与隐藏思维链相关。
最后,在介绍循环 Transformer 的基础概念后,我还想强调近期研究论文中一些关于该主题的新见解。
言归正传。在深入探讨架构传言和相关研究文献之前,让我先简要总结一些关于 GPT-6 Astra 的观察和点滴信息。
上周,OpenAI 的新版 GPT-6 Astra 隆重发布。我在过去几天使用了它,这是一个极其出色的模型,很可能就是我目前用过的最好的模型。但它到底在哪些方面有所改进,又是如何改进的呢?
Astra 是我目前用过的最好的模型,它在 3D 渲染和动画任务方面(相对于其他模型)表现得尤为突出。我的意思是,虽然它在几乎所有类别(写作、数学、编程等)上都大幅超越了其前身 GPT-5.6,但在图形演示方面尤其如此。
这一点在基准测试中也能反映出来。例如,如图所示,GPT-6 Astra 在数学和编程方面非常出色。
其中一个亮点(图中未显示)是 Astra 在 ARC-AGI-3 基准测试(https://arcprize.org/arc-agi/3)上达到了 99.9%(GPT-5.6 Sol 仅为 7.8%),该基准测试衡量的是解决逻辑谜题和泛化能力的综合水平。然而,数学、编程和计算机使用基准测试更有趣,因为它们更接近实际应用。
回到人工分析编码智能体指数 v1.4(https://artificialanalysis.ai/agents/coding-agents#coding-agents-index)(上图右下角),该指数综合了多项智能体编码任务,GPT-6 Astra 显然处于前沿,但其领先优势并非压倒性。这在下图所示的通用人工分析智能指数(https://artificialanalysis.ai/evaluations/artificial-analysis-intelligence-index)中也能看到,该指数综合了不同类型的任务,而不仅仅是编码任务。
artificial-intelligence (https://substackcdn.com/image/fetch/$s_!W5FA!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd02ced21-56da-4b5b-a520-33f0a20567cf_8058x5120.png)图 2:人工分析智能指数,来源 https://artificialanalysis\.ai/\#intelligence
现在,人工分析基准测试的一大优势在于其独立性,因此可能比模型开发者自我评估的基准测试更值得信赖。
测试平台设置取决于具体的基准测试(https://artificialanalysis.ai/methodology/intelligence-benchmarking)。例如,GDPval-AA 和 AA-Briefcase 在比较不同大语言模型时使用其开源的、最小化的 Stirrup(https://github.com/ArtificialAnalysis/Stirrup)测试平台。在上图所示的智能指数 v4.2 中,Terminal-Bench v2.1 使用 Terminus 2,而 τ3-Banking 使用 τ-Bench 测试平台。单独的编码智能体指数也对比了不同的编码智能体测试平台。
对于使用共享测试平台的评估来说,这使得对比更为公平。与此同时,在模型训练期间,模型通常是针对某个主要测试平台进行开发的(并且在其他测试平台上微调较少)。此外,主要测试平台通常是为了适应和放大模型的优势而开发的。
因此,一些智能体评估可能低估了 Astra 在其主要测试平台上的表现。其对智能指数分数的影响有多大,需要通过在相同任务上使用不同测试平台测试 Astra 来确定。
顺便提一下,正如一位同事最近建议我的(Claude Code 负责人也有此建议),删除(/归档)一些现有的`AGENTS.md`内容和`SKILL.md`文件或许不是坏事,因为较新的大语言模型在理解提示和解决当前问题方面已变得更加高效。额外的指导可能不必要地限制新模型,导致更差的解决方案。
当然,我不是建议完全不再使用`SKILL.md`文件,但对于某些工作流,由于它们可以提高重复使用时的效率,模型无需重新发现它们。但我想建议的是,有些工作流无需描述,“旧”的描述可能已不再是最佳,大语言模型或许能想出更好的解决方案。因此,也许是时候更新或重新生成这些指令文件了。
GPT-6 Astra 在图像和渲染任务方面似乎异常强大。当这些任务涉及与图形用户界面交互时,它们也展示了计算机使用能力,意味着该模型通过 Codex/ChatGPT 应用程序在您的本地计算机上操作软件。
与其他模型相比,计算机使用是 Astra 真正闪光的地方,任何与图形相关的内容在社交媒体平台上都能成为有趣且直观的演示。有大量令人印象深刻的演示示例,从在 Blender 中建模渲染纽约市(https://x.com/higgsfield_ai/status/2096495974734794840?s=20)到虚拟看房之旅(https://x.com/Dimillian/status/2095596700815516004?s=20)。
举一个例子,下面是我让 GPT-6 Astra Medium 和 High 版本使用我计算机上的鼠标,在浏览器版的 MS Paint(https://jspaint.app/#local:aa1757d4bc6008)中重绘我的一张照片的对比(未使用 Extra High 和 Max 版本,因为我不想浪费所有 token :))。
这不仅突出了模型的艺术能力,更重要的是展示了它在用户计算机上使用工具的能力(本例中是画图;您可以通过鼠标光标看到模型使用界面的过程)。
这并非第一个在测试平台内具备通用计算机使用能力的模型。例如,我今年早些时候就成功使用 GPT 模型处理一些 UI 任务(例如 Excel 中的费用相关任务)等。然而,计算机使用是一项相对新的能力,由测试平台赋能,并且通常感觉还不够成熟。这是合理的。大语言模型是文本模型,因此自然而然地,更容易实现的目标是写作、编程以及使用 API 和命令行接口。
与此同时,有许多工具和软件尚未提供命令行接口,与其等待别人设计该接口,为何不改进模型以使用图形用户界面呢(并且,如前所述,这无论如何都能制作出漂亮且令人印象深刻的演示)?这有点类似于正在兴起的人形机器人发展。当然,人形机器人并非最有效的机器人,例如在存在专用机器的生产线上。但它们具有多功能性。
因此,我预计未来几个月(或几年)也将是 LLM 和智能体测试平台层面计算机使用能力不断精进的时代。也就是说,除了现有能力,扩展其数学和编程能力之外,模型训练将越来越多地考虑计算机使用场景。这也将使 LLM 更易用于科技界之外的日常计算机任务(“嘿 ChatGPT,请帮我报税” :))。
计算机使用趋势也与最近的报道(https://finance.yahoo.com/technology/ai/articles/apple-suddenly-ai-infrastructure-stock-130223938.html)相符,该报道称 OpenAI 购买了数万台 Mac Mini 和 Mac Studio 用于强化学习。因此,这里的 Mac 并非用于实际训练模型(使用 GPU 更好),而是在模型训练期间提供 macOS 环境,让模型学习使用该操作系统及其内部工具。
那么,在这些 Mac 上进行计算机使用训练是如何工作的呢?简而言之,Mac(或其 macOS 操作系统)充当模型在训练期间可以交互的环境。
基本工作流程如下:
1. 通过给模型一个任务来提示它,例如“打开某个应用 xyz 并执行 abc”。
2. 为其提供 macOS 界面的截图(通常由测试平台完成)。
3. 然后大语言模型预测鼠标/键盘操作(点击、按键、滚动等)。
4. 在 Mac 上执行这些操作(同样由测试平台完成)。
5. 在上一步操作后,提供更新环境的新截图。
6. 重复步骤 2-5,直到任务成功或失败。
7. 使用成功/失败信号和验证器(或评分器)作为训练反馈,包括在后训练阶段进行的强化学习;这类似于带可验证奖励的强化学习。
computer-use-flow (https://substackcdn.com/image/fetch/$s_!f_sZ!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F105c079e-822e-4de9-bd16-2afe56286541_4879x2744.png)图 3:计算机使用训练工作流概览。
再次强调,Mac 在这里主要是环境,而非训练期间运行或更新模型的机器。模型很可能运行在 NVIDIA GPU 上,并通过 API 连接到这些 Mac。顺便提一下,NVIDIA 的 CEO 提到(https://x.com/JensenHuang/status/2096700264569090384?s=20)GPT-6 Astra 是在约 10 万块 Grace Blackwell GPU 上训练的。
上一节讨论的计算机使用训练重点并非训练流程的根本范式转变。GPT-6 Astra(以及可预见的未来任何 LLM)仍然是一个推理模型。这意味着 LLM 是使用带可验证奖励的强化学习训练的,并产生中间推理链(思维链)。
但我将在本文后面讨论 GPT-6 Astra 的推理模型方面(特别是关于隐藏思维链的部分)。
话虽如此,在正式模型发布前约两天,新闻杂志 The Information 发表了一篇文章(https://www.theinformation.com/articles/secret-technique-behind-openais-astra-model-sparks-security-concerns),报道称根据一些内部信息,Astra 使用了“递归深度”或“循环 Transformer”的概念。
由于大语言模型架构是我的专业领域和兴趣所在,我制作了一个简短的讲解视频,解释通用的循环 Transformer 机制,并回应关于隐藏思维链的评论,您可以在下方找到。
在接下来的小节中,我将首先解释循环 Transformer 是什么,稍后在本文中再重新审视关于隐藏思维链的评论。
(循环 Transformer 的解释可能看起来有点长,但我真的认为它有助于建立对该技术的基础理解,这有助于判断它是否模糊了推理链或思维链的说法。)
那么,什么是循环 Transformer?
循环 Transformer 本质上是一种架构上的调整,其核心思想是让中间表示多次通过相同的 Transformer 块(而不是仅仅一次)。与仅添加更多块相比,这里的“技巧”在于这些通过过程中权重保持不变。
**定义与术语**
在本文中,我将使用以下术语:
- **Transformer 块**:一个包含注意力机制、前馈模块、归一化和捷径连接的单元。这些块在论文中通常被称为“Transformer 层”。
- **堆栈**:一系列 Transformer 块。
- **块应用**:将输入运行通过一个 Transformer 块一次。
循环 Transformer 并非新事物,其基本思想已出现在 2018 年的《Universal Transformers》论文(https://arxiv.org/abs/1807.03819)中。但在讨论 Universal Transformer 之前,让我们从一个更简单的例子开始:Nanbeige4.2-3B(https://arxiv.org/abs/2607.22083),这是今年七月发布的一个最近的开源权重 LLM,我早在今年夏天就在 Substack Notes(https://substack.com/@rasbt/note/c-302083551)和我的 LLM 架构画廊(https://www.sebastianraschka.com/llm-architecture-gallery/looped-depth-sharing/)中介绍过它。
下图所示的 Nanbeige 架构看起来本质上像一个常规的 Transformer。但请注意,它有一个额外的(橙色)箭头循环回到了 Transformer 堆栈的开头。
nanbeige (https://substackcdn.com/image/fetch/$s_!v0Tz!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd41d18af-38d4-4925-97c3-175a1b9443cd_2682x2664.png)图 5. Nanbeige4.2-3B 将相同的 22 层 Transformer 块堆栈应用了两次。橙色箭头显示了中间表示被传回堆栈的位置。
让我们从下往上梳理这个过程。首先,与任何其他基于 Transformer 的 LLM 一样,输入文本被分词并转换为嵌入向量。然后这些向量通过 22 个 Transformer 块,这 22 个块每个都有自己的权重。
然而,这里的循环 Transformer 特性在于,在第一次通过后,隐藏状态被反馈通过相同的 22 个块。因此,块 1 再次被应用,接着是块 2,依此类推直到块 22。
如果我们展开这个计算,将会有 44 次 Transformer 块应用。然而,与具有 44 个不同块的传统 Transformer 相比,第二轮的 22 次块应用重用了第一轮堆栈的权重。例如,第 23 次块应用使用块 1 的权重,第 24 次块应用使用块 2 的权重,依此类推。
nanbeige-two-passes (https://substackcdn.com/image/fetch/$s_!Q34R!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6c447af3-6466-473a-8ba3-0759b798e187_1867x3427.png)图 6. Nanbeige4.2-3B 展开为两次通过相同的 22 个 Transformer 块,共产生 44 次块应用。
所以,这里的全部思想是,我们在不添加另一组 Transformer 权重的情况下,将有效深度从 22 次块应用增加到 44 次。
顺便问一下,为什么是 2 轮,而不是 3 轮、4 轮或更多轮?Nanbeige 论文中没有太多细节,但他们说这基本上是最高效的设置。将循环从 2 次增加到 3 次可以提升建模性能,但额外的计算成本并不划算。
那么,我们为什么要进行这种循环呢?这本质上是替代仅仅通过添加更多 Transformer 块来使模型变得更大的一种方法。
例如,一个使用 22 个 Transformer 块两次的模型,其(Transformer 块)参数量大约只有具有 44 个传统块的模型的一半。
这减少了存储权重所需的内存。顺便提一下,请注意嵌入层和输出层通常很大,占总量的很大一部分,但它们在此比较之外。(以 Nanbeige 4.2 3B 为例,嵌入层和输出层约占总共 3B 参数的 25%;如果在这两者之间共享权重,我们可以将其减少到 12.5%。)
hypothetical-size (https://substackcdn.com/image/fetch/$s_!kism!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F1c43d5a9-a977-49ef-a3f8-6e643c381f13_4708x2488.png)图 7:并排比较,显示在传统与循环(权重共享)架构下所需参数数量。
相似文章
OpenAI 首席科学家对如何限制人工智能发展有一些看法
OpenAI 首席科学家 Jakub Pachocki 提议将困惑度作为衡量通用智能的共同基准,供各家 AI 公司据此对 AI 进步速度设定共同限制。Sam Altman 称这篇文章是“OpenAI 一段时间以来发表的最重要的内容”。
LLM 是器官,而非大脑
这篇文章主张重新定位大语言模型在 AI 智能体中的角色:从充当“大脑”转变为一个专门负责语言生成、理解以及与非结构化数据交互的器官,长期目标是用更小的集成模型取代外部大语言模型,使智能体完全自给自足。
GPT 6.2 Astra 被确认为解决纳维-斯托克斯方程的模型。
据称已证实,OpenAI 的 GPT 6.2 Astra 模型已解决纳维–斯托克斯方程的存在性与光滑性问题,这是数学七大千禧年大奖难题之一。
@swyx:OpenAI 提议将困惑度作为行业自我监管与进度节奏的通用指标(而非例如 FLOPS)“Gi…
OpenAI 提议将困惑度(perplexity)作为行业自我监管与安全节奏的通用指标,认为基于困惑度设定的共同限制可以成为衡量通用智能的基准,且不受开发过程自动化程度的影响。Jakub Pachocki 在《Perplexity and Intelligence》中详述了这一思路,呼吁对预训练朝着共同安全门槛的进展保持透明。
探究了一下 Inkling 2 Mini 的内部循环。一个向量决定了它能运行多少轮
一篇研究博客文章对 Inkling 2 Mini 的循环架构进行了逆向分析,发现单一向量方向编码了循环次数:加上该向量即可实现有效的第 4 次循环(四表查找谜题的准确率从 34%→74%),而减去该向量则可让模型在 2 次循环后停止(困惑度从 18.0→11.1)。