Microsoft confirms OpenAI has been using Looped Transformers in the GPT-6 series
摘要
Microsoft 在一个公开页面上确认 OpenAI 在 GPT-6 系列中使用了 Looped Transformers,GPT-6.1 Sol 进行 2 次推理而非 3 次,但 Microsoft 随后删除了该页面。
Microsoft 在一个可公开访问的网页上确认,OpenAI 一直在 GPT-6 系列中使用 Looped Transformers,证明 The Information 此前的报道一直都是正确的。GPT-6.1 Sol 使用 2 次推理(inference passes),页面中顺带提到了“而不是三次”。对于那些对“与 GPT-6 Sol 拥有相同的基础模型权重”感到困惑的人,我认为 Microsoft 的意思是 6 和 6.1 都是基于同一个预训练“基础模型”进行后训练(post-trained)的模型,而不是说最终权重完全相同——所以是不同的后训练(+ 少跑一次循环)。更新:Microsoft 已修改该网页,将相关内容删除。
相似文章
GPT-6 Astra 使用 Loop Transformers
SemiAnalysis 的推文报道了 GPT-6 Astra,这是一个采用 Loop Transformers 的 AI 模型,暗示了 AI 开发中的一种新架构方法。
微软意外泄露:GPT-6.1 Sol 与 GPT-6 Sol 使用相同的基座权重,但推理只需 2 次而不是 3 次
微软意外泄露,GPT-6.1 Sol 复用了与 GPT-6 Sol 相同的基座权重,但推理只需 2 次而不是 3 次,这一消息曝光了 OpenAI 模型迭代的架构细节。
OpenAI 在美国 AI 监管风波中发布 GPT-5.6
OpenAI 发布了 GPT-5.6,这是一个包含 Sol、Terra 和 Luna 的新模型系列,在编码、网络安全和自主任务方面性能提升,同时面临美国加强的监管审查。
OpenAI 向 Microsoft 授权 GPT-3 技术
OpenAI 已向 Microsoft 授权 GPT-3 技术,作为双方多年合作伙伴关系的一部分。这项协议允许 Microsoft 将该模型集成到自己的产品和服务中,同时 OpenAI 继续为开发者提供 API 访问。
GPT-6.1 Sol 的"泄露"暗示嵌套模型服务架构
该帖子分析了泄露的 Azure Foundry 规格以及 Artificial Analysis 的延迟数据,推测 GPT-6.1-Sol、Astra 和 Luna 可能共享相同的权重,以嵌套/循环模型的方式运行,通过不同的推理次数(inference passes)来大规模降低推理成本。作者认为,如果属实,这将验证循环(recurrent)架构在生产规模上的可行性,并可能促使 DeepSeek、Qwen、GLM 等开放权重实验室尝试类似的设计。