标签
SenseNova 发布了 SenseNova-Loop-9B-Preview，这是一款基于共享循环块和 mHC 残差流架构构建的循环多模态模型，面向长上下文和智能体工作流，支持动态设计、PPT 生成和数据分析等多种能力。
tinyworldformer 在 Raspberry Pi Pico 2 W 上运行两个微型神经网络——一个循环 Transformer 世界模型和一个 MLP actor——完全在设备端生成并游玩 Breakout、Pong 和 Flappy Bird 等简单游戏，并可通过可选的 stream-x 实现板载强化学习。
一篇社区帖子，列出了对谷歌即将推出的 Gemma 5 的功能诉求，包括采用循环 Transformer 来增强推理能力、引入 DeepSeek 的 Engram 记忆机制、通过压缩稀疏注意力降低 KV 缓存成本、推出可能约有 1200 亿参数的 MoE 变体、改进草稿模型，以及让 Gemma 在编程基准测试之外也保持全面的能力。
NVIDIA 发布 Nemotron Labs Dory1.0-4B-BF16，一款 4B 参数的循环式（latent-recurrent）大语言模型，采用 normalized-GPT 架构与滑窗/全注意力混合层，支持弹性推理计算与最后一次循环 KV 缓存，并原生支持 NVFP4 预训练，采用 OpenMDW-1.1 开放许可。
介绍 Looped Diffusion Transformer 论文：通过在每个去噪步骤内重复运行共享的 transformer 块，并结合深度监督和自调制注意力，使 260M 模型以 4.9 倍更少的推理计算超越 6.5 倍大的模型，且循环深度可在采样时调节；作者还用 MIT 开源权重在 M5 Pro 上实测了不同深度的效果。
LoopICL 通过复用一个权重共享的 Transformer 块（并采用双路 cell/row 流和一个可学习的出口门控），将参数量与模型深度解耦。在相同 FLOPs 下，其性能与 TabICL v2 在 TabArena/TALENT 上相当，但参数量减少了约 90%。
本文讨论了 Nanbeige4.2-3B Looped Transformer 模型在 Apple Silicon 上的部署 bug，并引入了一种内存高效的分块预填充策略以支持 agentic 任务。
Nanbeige4.2-3B 是一个紧凑的 3B 参数通用智能体模型，采用 Looped Transformer 从零开始预训练，在智能体和推理任务上表现出色，在多个基准测试中超越了更大的模型。该模型和代码均已开源。
比较了两个用于智能体工作负载的新AI模型：采用循环Transformer架构的紧凑型Nanbeige4.2-3B，以及大型混合专家模型Laguna S2.1，两者均在Hugging Face上发布。
Nanbeige4.2 已在 ModelScope 上发布，包含两个模型：一个 28T-token Looped Transformer 基座和一个 3B SFT+RL 智能体，据称在智能体基准测试中优于 Qwen3.5-9B 和 Gemma4-12B。
Nanbeige4.2-3B是一个新的3B参数AI模型，采用Looped Transformer架构，性能超越其4倍规模的模型。
Loopie模型采用循环变换器架构，仅用10%的预训练token即可匹配或超越Qwen3 Coder 30B的性能，展现出强大的推理能力和高效的扩展性。
Nanbeige4.2-3B 是一款紧凑型智能体模型，采用循环Transformer架构，在3B规模下展现出强大的智能体任务和推理基准性能，超越了Qwen3.5-9B和Gemma4-12B等更大规模的模型。
Loopie 是一种新型循环 Transformer 模型，通过新颖的后训练流程，在 2025 年国际数学奥林匹克竞赛（IMO）和国际物理奥林匹克竞赛（IPhO）中无需外部工具即获得金牌表现。在相同计算预算下，它优于普通 Transformer。
提出循环隐注意力（LLA），一种训练后编解码器，通过利用递归步骤间的低秩结构压缩循环变压器中的KV缓存，在保持性能的同时实现显著压缩比。
Loopie引入了循环混合专家Transformer，在相同计算预算下性能优于普通Transformer，在2025年国际数学奥林匹克（IMO）和国际物理奥林匹克（IPhO）中无需工具即获得金牌水平表现。
本文识别出梯度振荡和残差爆炸是循环Transformer训练不稳定的原因，并提出了全循环Transformer，包含两个无需参数调整的修改（全循环架构和注意力注入），能够稳定训练至12次循环迭代，在下游任务性能上实现了高达13.2%的提升。
提出内存高效型循环Transformer（MELT），这是一种新型循环大语言模型架构，通过跨循环共享单一KV缓存，并结合插值过渡与注意力对齐蒸馏的分块训练方法，实现了推理深度与内存消耗的解耦。