循环 Loopie！

arXiv cs.CL 论文
looped-transformer mixture-of-experts reasoning math-ai science-ai transformer-models post-training

摘要

Loopie 是一种新型循环 Transformer 模型，通过新颖的后训练流程，在 2025 年国际数学奥林匹克竞赛（IMO）和国际物理奥林匹克竞赛（IPhO）中无需外部工具即获得金牌表现。在相同计算预算下，它优于普通 Transformer。

arXiv:2607.16051v1 公告类型：新 摘要：我们介绍 Loopie，这是迄今为止最强大的循环 Transformer。Loopie 系列包含两个混合专家模型（MoE）：一个 200 亿参数模型（20 亿活跃参数）和一个 60 亿参数模型（6 亿活跃参数）。循环 Transformer 长期以来面临一个挑战：给定预训练计算量增加 N 倍，将参数数量增加 N 倍通常比将模型循环 N 次效果更好。Loopie 解决了这一挑战。广泛的消融研究，包括与普通 30B-A3B 模型的比较，表明 Loopie 在相同计算预算下显著优于普通 Transformer 基线。我们新颖的后训练流程赋予了 Loopie 强大的推理能力。在 2025 年 IMO 和 IPhO 上，Loopie 无需工具即获得金牌表现。
查看原文
查看缓存全文

缓存时间: 2026/07/20 09:36 

# 循环！Loopies！

来源：https://arxiv.org/abs/2607.16051  
查看 PDF (https://arxiv.org/pdf/2607.16051)

> **摘要**：我们提出了 Loopie，这是迄今为止最强大的循环 Transformer。Loopie 系列包含两个混合专家模型：一个拥有 200 亿参数、20 亿激活参数的模型，以及一个拥有 60 亿参数、6 亿激活参数的模型。长期以来，循环 Transformer 面临一个挑战：在预训练计算量增加 N 倍的情况下，将参数量增加 N 倍的效果通常优于将模型循环 N 次。Loopie 解决了这一挑战。广泛的消融研究（包括与标准 30B-A3B 模型的对比）表明，在相同计算预算下，Loopie 显著优于标准的 Transformer 基线。我们新颖的后训练流程赋予了 Loopie 强大的推理能力。在 2025 年国际数学奥林匹克（IMO）和国际物理奥林匹克（IPhO）中，Loopie 在没有使用工具的情况下达到了金牌水平。

## 提交历史

来自：Zitian Gao [查看邮箱 (https://arxiv.org/show-email/52340bf5/2607.16051)]  
**[v1]** 2026年7月17日 星期五 15:28:43 UTC (829 KB)

相似文章

循环Loopies！

Hugging Face Daily Papers

Loopie引入了循环混合专家Transformer，在相同计算预算下性能优于普通Transformer，在2025年国际数学奥林匹克（IMO）和国际物理奥林匹克（IPhO）中无需工具即获得金牌水平表现。

@askalphaxiv: 另一项关于循环Transformer的酷研究。他们提出一个问题：“我们能否直接在推理时循环一个冻结的、现成的检查点…

X AI KOLs Timeline

本研究介绍了一种技术，通过使用阻尼Runge-Kutta子步骤，在推理时循环冻结的、现成的Transformer检查点，将Transformer层视为残差ODE中的欧拉步骤。这无需微调、架构更改或新权重即可增加额外的潜在计算，在MMLU-Pro、GPQA和ARC等知识任务上显示出收益。

Multilingual-Multimodal-NLP/LoopCoder-V2 · Hugging Face

Reddit r/LocalLLaMA

LoopCoder-V2 是一个基于 Parallel Loop Transformer (PLT) 构建的 7B 参数指令调优代码模型，展示了非单调测试时扩展特性，其中两个循环提供了最佳的收益-成本权衡，并在代码生成和推理基准测试上显著优于基线模型。