Recurrent Looped Transformer

Hugging Face Daily Papers 论文
transformers state-tracking recurrent-architecture algorithmic-tasks generalization length-extrapolation

摘要

论文提出 Recurrent Looped Transformer (RLT)，将层划分为并行因果编码器和循环解码器，使计算路径随序列长度增长而每个 token 的成本保持固定，在奇偶校验、S_5 置换追踪和模运算等算法任务上，长度外推能力显著优于标准 Transformer。

状态追踪要求在每个输入处进行更新，而 Transformer 对每个 token 应用的深度是固定的，不随序列长度变化。我们提出 Recurrent Looped Transformer (RLT)，将其层划分为并行因果编码器和循环解码器。在每个 token 处，解码器将编码器的输出与前一个 token 的最终解码器状态合并，从而使计算路径随序列长度增长，而每个 token 的成本保持固定。在六项算法任务上，我们在三个随机种子上将八层的五种层划分方式与一个八层 Transformer 进行对比。在最多 40 个 bit 上训练后，两种 RLT 划分方式在每个种子上都能以 100% 的准确率将奇偶校验泛化到 256 个 bit，而 Transformer 仍停留在随机猜测水平。在基于交换的 S_5 置换追踪任务上，当序列长度达到训练长度的八倍时，RLT 的最终状态准确率达到 97%，而 Transformer 不到 1%，且准确率随解码器深度增加而提升。在超出训练长度的模运算任务上，RLT 最高可达 93%，而 Transformer 仅为 33%。消融实验表明，这些增益依赖于反馈机制：移除反馈后，所有划分方式下的奇偶校验和基于交换的 S_5 都降回随机猜测水平。改为每四个 token 的块更新一次反馈，可以让块内已知的 token 并行运行，并将 64 个 bit 的奇偶校验准确率保持在 99%；而置换追踪依赖逐 token 反馈：分块会使长度为 64 的基于交换的 S_5 准确率从 100% 降至 20%。
查看原文
查看缓存全文

缓存时间: 2026/10/08 12:30

论文页面 - Recurrent Looped Transformer

来源：https://huggingface.co/papers/2610.07591

摘要

状态追踪需要在每个输入处都进行更新，但 Transformer 对每个 token 应用的计算深度是固定的，与序列长度无关。我们提出了 Recurrent Looped Transformer（RLT），它将自身各层分为并行因果编码器和循环解码器两部分。在每个 token 处，解码器将编码器的输出与前一个 token 的最终解码器状态合并，因此计算路径随序列长度增长，而每个 token 的成本保持不变。在六项算法任务上，我们在三个随机种子下比较了八层 Transformer 与五种八层切分方式的 RLT。在最多 40 bit 的数据上训练后，两种 RLT 切分方式能在每个种子上都以 100% 的准确率将奇偶校验泛化到 256 bit，而 Transformer 仍停留在随机猜测水平。在基于交换的 S_5 排列追踪任务中，当测试长度为训练长度的八倍时，RLT 的最终状态准确率达到 97%，而 Transformer 不到 1%，且准确率随解码器深度增加而提升。在超出训练长度的模运算任务上，RLT 最高达到 93%，而 Transformer 为 33%。消融实验表明，这些提升依赖于反馈机制：移除反馈后，奇偶校验和基于交换的 S_5 在所有切分方式下都跌回随机水平。将反馈更新改为每四个 token 一块，则块内已知 token 可以并行运行，并将 64 bit 奇偶校验保持在 99%；但排列追踪依赖逐 token 的反馈：分块会使长度为 64 的基于交换的 S_5 任务准确率从 100% 降至 20%。

查看 arXiv 页面 | 查看 PDF | 项目页面 | GitHub 908 | 添加到收藏集

在你的 agent 中获取这篇论文：

hf papers read 2610.07591

还没有最新的 CLI？运行以下命令： curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型链接此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.07591 即可从本页面链接过去。

引用此论文的数据集 0

暂无数据集链接此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.07591 即可从本页面链接过去。

引用此论文的 Spaces 1

包含此论文的收藏集 0

暂无收藏集包含此论文。

将此论文添加到收藏集即可从本页面链接过去。

相似文章

Recurrent Looped Transformer

Hacker News Top

Recurrent Looped Transformer (RLT) 是一种新颖的架构，它结合了因果编码器和循环解码器，以实现具有无界时间深度的潜在推理、模型-硬件协同设计以及模型-强化学习算法协同设计。

更优地解码循环Transformer：近乎零成本

Hugging Face Daily Papers

论文提出了 LoopCD，这是一个针对循环 Transformer 的免训练对比解码框架，将中间循环状态用作弱/强预测对，带来显著提升（例如 Ouro-2.6B-Thinking 在 AIME 2024 上的 pass@1 从 61.88% 提升至 73.33%），同时使循环次数减半，并将前向计算 FLOPs 降低 22.5% 至 48.2%。

面向循环 Transformer 的因果潜在工作区

arXiv cs.CL

该论文提出因果潜在工作区 Transformer（causal latent workspace Transformer），通过在共享深度的循环块之间加入可读写的前缀专属潜在槽位，提升了循环 Transformer 的语言建模困惑度，并在三个字节级语料上的多数设置中优于五个基线对照。

什么是 Looped Transformers？清晰解释（8分钟阅读）

TLDR AI

Looped transformers 在多次传递中重复使用相同的层，以参数数量换取计算量，用更少的权重实现更好的推理。文章追溯了这一想法到 Universal Transformer (2018)，并解释了其最初因扩展定律和时机而失败的原因。

Transformers 停止思考得太早，而一个小小的 LoRA 就能解决这个问题

Hugging Face Daily Papers

研究发现，预训练 transformer 在遵循上下文引用时极少使用其深度（仅可靠遵循 1.4-3.6 行），而一个冻结所有权重、只在早期层添加的 rank-8 LoRA 即可大幅扩展该能力——Qwen3-8B 在 24 行链上的精确准确率从 15.5% 提升至 99%。LoRA 起到「接力」作用，使程序行通过中间层传递链身份信息。