论文页面 - Loop the Loopies！

来源：https://huggingface.co/papers/2607.16051

摘要

我们提出 Loopie，迄今为止最强大的循环 Transformer（Looping Transformer）。Loopie 系列包含两个混合专家（MoE）模型：一个 200 亿参数（20B）模型，其中 20 亿（2B）为有效参数；以及一个 60 亿参数（6B）模型，其中 6 亿（0.6B）为有效参数。循环 Transformer 长期面临一个挑战：给定 N 倍的预训练计算量，将参数量提高 N 倍通常优于将同一模型循环 N 次。Loopie 解决了这一挑战。大量消融实验（包括与一个 30B-3B 的普通 Transformer 模型对比）表明，在相同计算预算下，Loopie 显著优于普通 Transformer 基线。我们新颖的后期训练流程赋予 Loopie 强大的推理能力。在 2025 年国际数学奥林匹克（IMO）和国际物理奥林匹克（IPhO）中，Loopie 在不借助工具的情况下取得了金牌级别表现。

查看 arXiv 页面 (https://arxiv.org/abs/2607.16051)查看 PDF (https://arxiv.org/pdf/2607.16051)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.16051)

引用本论文的模型：0

暂无链接本论文的模型

请在一个模型的 README.md 中引用 arxiv.org/abs/2607.16051 以便从此页面链接。

引用本论文的数据集：0

暂无链接本论文的数据集

请在一个数据集的 README.md 中引用 arxiv.org/abs/2607.16051 以便从此页面链接。

引用本论文的 Space：0

暂无链接本论文的 Space

请在一个 Space 的 README.md 中引用 arxiv.org/abs/2607.16051 以便从此页面链接。

包含本论文的合集：0

暂无包含本论文的合集

请将本论文添加到一个合集中 (https://huggingface.co/new-collection) 以便从此页面链接。