标签
一篇研究博客文章对 Inkling 2 Mini 的循环架构进行了逆向分析,发现单一向量方向编码了循环次数:加上该向量即可实现有效的第 4 次循环(四表查找谜题的准确率从 34%→74%),而减去该向量则可让模型在 2 次循环后停止(困惑度从 18.0→11.1)。
Zhengyao Jiang 认为 MoE 本质上是一种用内存换算力的数据中心架构,而循环 Transformer 则相反,更适合笔记本电脑,这暗示本地模型和云端模型可能会分化为截然不同的架构——这是对 Thinking Machines 专为设备端 agentic 工作设计的 26B 参数 Inkling 2 Mini 循环 Transformer 的回应。
一场讨论探讨如何为循环(权重复用)Transformer 模型定义「活跃参数」,提出活跃参数应随循环次数缩放,以保持其作为每 token GB(TG)和每 token FLOPs(PP)估计值的意义,并以 Inkling 2 Mini、SenseNova-Loop-9B 和 Nanbeige4.2-3B 等模型为例进行说明。
论文提出 LoopCache,通过置信度引导的动态草稿更新与循环 KV cache 调度,加速循环 Transformer 的长上下文自投机解码,相比 WFD 和 LoopSpec 分别实现 10.25 倍和 14.56 倍平均加速。
本文研究通过下一词元预测训练的 Transformer 能否组合中间实体从未在训练中出现过的两跳事实,提出了通过词元嵌入传递中间实体的 Baton 循环 Transformer 系列,并分析了为何在事实回忆能力充足的情况下,准确率仍会下降。
论文提出了 Loopback Transformer,通过写入—传输—读取的形式化方法,将残差连接重新诠释为沿网络深度方向的记忆,以几何遗忘与内容相关注意力来存储各模块的更新。在相同 token 数量与深度下,该模型在 1.4B 和 3B 规模上取得了更低的验证损失和更高的 13 项零样本任务平均准确率,同时仅保留了标准 Transformer 68% 和 75% 的参数量。
本文研究了一种 LSTM 风格的循环 Transformer,其循环核心共享权重和单个键值缓存,在宽度为 1024 时将参数量减少了 40.4%,并将持久缓存组数从十五组减少到四组。通过一致性损失对齐并行与递归训练过程,消除了 81–89% 的续写损失惩罚;在较低的 token 预算下,权重绑定的成本最低。
论文研究了循环语言模型中深度可复用性的来源,发现保持循环步数可外推的关键不是循环边界归一化,而是训练与推理时循环拓扑的一致性;移除 Ouro 模型的边界归一化会在训练预算内将准确率降至零,但从头训练的小模型显示不加归一化反而外推更好。
本文针对九个模型,精确测量了通过截断反向传播训练循环 Transformer 时损失的权重梯度量,发现梯度损失主要由靠近输出端的部分决定,在微调过程中逐渐减小,而且这种测量方法并未明显优于 Parcae 规则等无需测量的成本启发式方法。
一项涵盖约600次训练运行的规模扩展研究发现,在计算量相同的情况下,对循环 Transformer 采用完整的时间反向传播(BPTT)优于截断方案。其中,两个均经过完整训练的循环是计算最优配置,其参数量比非循环模型少约27%,性能却更优。
PAR(Progress-Aligned Recurrence,进度对齐循环)将循环语言模型的每次循环迭代与任务的一步操作对齐,并对隐状态进行重缩放以防止漂移,从而在 swap-S5 状态追踪任务上实现 16 倍长度外推,0.5B 参数模型达到 95.5% 的准确率,远超 RLT 和 CoT 基线。
该论文提出因果潜在工作区 Transformer(causal latent workspace Transformer),通过在共享深度的循环块之间加入可读写的前缀专属潜在槽位,提升了循环 Transformer 的语言建模困惑度,并在三个字节级语料上的多数设置中优于五个基线对照。
LEV 是一种通过循环重跑层而非生成文本来实现可变推理深度的决策模型,在相同权重下随深度提升准确率,并通过按需深度机制节省 15%-24% 计算量,在低延迟下显著优于同等规模的稠密模型。
论文提出 LatentLoop,通过非对称计算分配(压缩第一次循环访问的序列分辨率、保留第二次访问的全分辨率,并将节省的算力用于增大隐藏维度)来扩展循环 MoE 模型,在 1.3B–7B 参数范围内一致降低验证 NLL,相比原始 MoE 和循环基线分别节省约 19.0% 和 7.9% 的计算量。
NVIDIA 提出弹性潜在循环(Elastic Latent Recurrence,ELR)训练方案,使循环语言模型在单次循环时达到与同规模非循环模型相当的精度,同时每次额外循环都能以更多推理计算换取精度提升,最终产出可在 1–4 次循环间灵活调整的单一检查点 Koi-4B。
该论文提出 InfiLoop,一种为循环 Transformer 设计的原生残差连接机制,通过内容加权与学习式时间衰减维持循环状态的运行摘要,使模型在数万次测试时迭代中持续提升推理性能,在 Sudoku-Extreme 上达到 97.9% 精度、ARC-AGI-2 上 13.6% pass@2。
Microsoft 在一个公开页面上确认 OpenAI 在 GPT-6 系列中使用了 Looped Transformers,GPT-6.1 Sol 进行 2 次推理而非 3 次,但 Microsoft 随后删除了该页面。
Apple 研究人员的论文《Decoding Looped Transformers Better for (Almost) Free》表明,通过对比解码(Contrastive Decoding)复用推理时被丢弃的中间状态,可以在零训练成本的前提下将计算消耗降低 47%,同时将数学问题的 pass@1 从 61% 提升到 73%——这标志着大模型发展正从硬件堆叠转向算法层面的精细优化。
SanSi 将预训练的循环语言模型转化为类型化决策模型,通过在单次读出前递归复用相同层数层(即 System 1.5 思考)提升决策准确率,在 10,027 个测试决策上达到 72.0% 准确率,并可作为 RL 策略优化的判别器提升生成器 F1。
IBM Research 与 Cornell 的一篇论文表明,对循环预测 Transformer(LPT)进行预训练,让后续递归共享首次递归的 KV cache,可在 150M–1B 参数规模下减少 76–79% 的上下文内存使用,同时降低困惑度,从而证明记忆共享是一种有益的架构归纳偏置,而非仅仅是部署时的技巧。