@retr0sushi_: 循环transformer -> 超循环transformer -> 循环世界模型 ??
摘要
推测了从循环transformer到超循环transformer再到循环世界模型的演进，暗示了一个新的研究方向。
查看缓存全文
缓存时间: 2026/06/18 12:15
循环transformer -> 超循环transformer -> 循环世界模型 ?? https://t.co/3lFMfofxhX
相似文章
Looped World Models
Looped World Models 通过共享的Transformer块引入迭代潜在状态细化，实现了100倍的参数效率，同时根据预测复杂度自适应调整计算深度。
什么是 Looped Transformers？清晰解释（8分钟阅读）
Looped transformers 在多次传递中重复使用相同的层，以参数数量换取计算量，用更少的权重实现更好的推理。文章追溯了这一想法到 Universal Transformer (2018)，并解释了其最初因扩展定律和时机而失败的原因。
@ZhihuFrontier: 半年前，一位知乎答主预测下一个Transformer将吸收循环、递归状态、稀疏路由……
一位知乎答主半年前的预测——下一个Transformer将吸收循环、递归状态、稀疏路由和潜在推理——随着Loop Engineering的推进，正变得越来越有现实意义。本文探讨了未来的Transformer架构如何演变为混合模型：将线性复杂度的层用于背景上下文，注意力机制用于精确推理，再加上更细粒度的稀疏性和原生的System 2推理。
@askalphaxiv: 另一项关于循环Transformer的酷研究。他们提出一个问题：“我们能否直接在推理时循环一个冻结的、现成的检查点…
本研究介绍了一种技术，通过使用阻尼Runge-Kutta子步骤，在推理时循环冻结的、现成的Transformer检查点，将Transformer层视为残差ODE中的欧拉步骤。这无需微调、架构更改或新权重即可增加额外的潜在计算，在MMLU-Pro、GPQA和ARC等知识任务上显示出收益。
循环 Loopie！
Loopie 是一种新型循环 Transformer 模型，通过新颖的后训练流程，在 2025 年国际数学奥林匹克竞赛（IMO）和国际物理奥林匹克竞赛（IPhO）中无需外部工具即获得金牌表现。在相同计算预算下，它优于普通 Transformer。