URM 与 UT 是否已被整合进前沿模型？还是被丢进了被遗忘论文的废纸堆？[D]

基于 UT 的小模型，尽管是在这些任务上从零开始训练、没有互联网规模的预训练，却始终以显著优势超越大多数基于标准 Transformer 的大语言模型（LLM）。👈 Universal Transformer (UT) 在标准 Transformer 的基础上引入了深度维度上的循环计算。UT 并不是堆叠 L 个不同的层，而是反复应用同一个转换块来逐步精化 token 表示。对于输入序列 x（嵌入矩阵 H0 ∈ Rn×d），UT 的状态更新方式为 Ht+1 = LayerNorm(Ht + MHA(Ht))，随后是共享的逐位置转换函数 Ht+1 ← LayerNorm( Ht+1 + Transition(Ht+1) )，t = 0, . . . , T − 1，其中 Transition 是前馈网络或可分离卷积。为了同时编码位置信息和精化深度，UT 在每一步都加入 2-D 正弦嵌入。https://i.imgur.com/S8TAh3f.png （下图）图 2：我们的 Universal Reasoning Model (URM) 架构示意图。左侧是标准 Transformer 层堆叠，右侧展示了带有固定循环、ACT 循环以及 ConvSwiGLU 模块的 URM。出于说明目的，嵌入、残差连接、RMSNorm、位置编码等组件和其他模块被省略，右图中的 x 表示前向模式下内层循环的前 x 次循环，TBPTL 代表我们提出的 Truncated Backpropagation Through Loops（循环截断反向传播）。https://i.imgur.com/uEuhAeC.png 大型科技公司的前沿实验室是否已经实现了 URM 和 UT 的这些增强？还是这项前沿研究仍在等待属于它的高光时刻？以下是原始论文、一篇简化版博客和一次演讲。论文：https://arxiv.org/pdf/2512.14693 博客：https://bdtechtalks.substack.com/p/inside-urm-the-architecture-beating YouTube 演讲：https://www.youtube.com/watch?v=RxNPFCYCFBU