截断还是不截断？采用截断反向传播的循环 Transformer 扩展性研究

Hugging Face Daily Papers 论文
looped-transformers scaling-laws backpropagation-through-time truncated-bptt transformers training-efficiency

摘要

一项涵盖约600次训练运行的规模扩展研究发现，在计算量相同的情况下，对循环 Transformer 采用完整的时间反向传播（BPTT）优于截断方案。其中，两个均经过完整训练的循环是计算最优配置，其参数量比非循环模型少约27%，性能却更优。

循环 Transformer 通过重复使用共享的层块来增加计算深度，而不增加可训练参数的数量。它们采用时间反向传播（BPTT）进行训练。为了节省训练计算量，BPTT 通常被截断为仅覆盖最后几次循环，但截断会产生有偏梯度，可能削弱循环带来的收益。在本研究中，我们系统地研究了截断在循环 Transformer 训练中的价值：在近 600 次训练实验中，联合改变模型规模、训练词元数以及前向和反向循环次数，并拟合出一个统一的缩放定律，通过有效参数刻画循环和截断的影响。尽管截断能够节省训练计算量，但当联合优化前向和反向循环次数时，我们拟合的定律更倾向于采用完整 BPTT。在计算量相同的实验中，对较少循环执行完整 BPTT 的表现始终优于计算量相同的截断配置。该定律进一步表明，在模型规模固定时，计算最优的循环次数和训练词元预算都会随计算量增加而增长。当模型规模也可自由调整时，该定律确定，执行两次循环并对其进行完整反向传播是最佳循环配置。实验表明，与计算最优的非循环模型相比，这一配置的非嵌入参数约少 27%，训练计算量仅增加 8%，却实现了更低的验证损失。
查看原文
查看缓存全文

缓存时间: 2026/10/28 09:25

论文页面 - 截断还是不截断？采用截断反向传播的循环 Transformer 缩放研究

来源：https://huggingface.co/papers/2610.26030

摘要

在相同计算量下，使用完整时间反向传播训练的循环 Transformer 优于截断方案，缩放定律表明，当模型大小可调整时，两次循环是最优选择.

循环 Transformer (https://huggingface.co/papers?q=Looped%20transformers)复用一个共享层块，在不增加可训练参数数量的情况下增加计算深度. 它们使用时间反向传播 (https://huggingface.co/papers?q=backpropagation%20through%20time)(BPTT)进行训练. 为节省训练计算量，BPTT 通常只保留最后几次循环的反向传播，但截断会产生有偏梯度，可能削弱循环带来的收益. 在这项工作中，我们系统地研究了截断在循环 Transformer 训练中的价值：在近 600 次训练运行中，我们联合改变模型大小、训练词元数以及前向和反向循环次数 (https://huggingface.co/papers?q=backward%20loop%20count)，并拟合了一个统一的缩放定律 (https://huggingface.co/papers?q=scaling%20law)，通过有效参数 (https://huggingface.co/papers?q=effective%20parameters)来描述循环和截断的影响. 尽管截断能够节省训练计算量，但在联合优化前向和反向循环次数 (https://huggingface.co/papers?q=backward%20loop%20count)时，我们拟合的定律更倾向于完整 BPTT. 在计算量相同的训练运行中，对较少循环执行完整 BPTT 始终优于相同计算量的截断设置. 该定律进一步表明，在模型大小固定时，计算最优的循环次数和训练词元预算都会随计算量增加而增长. 当模型大小也可自由调整时，该定律确定，两次均进行完整训练的循环是最佳循环设置. 实验表明，与计算最优的非循环模型相比，该设置的非嵌入参数减少约 27%，训练计算量仅增加 8%，却实现了更低的验证损失.

查看 arXiv 页面 (https://arxiv.org/abs/2610.26030)查看 PDF (https://arxiv.org/pdf/2610.26030)项目页面 (https://xjxyys.github.io/truncate-or-not/)GitHub5 (https://github.com/xjxyys/Truncate-or-Not)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.26030)

在你的智能体中获取这篇论文：

hf papers read 2610\.26030

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有链接到这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.26030，即可从此页面链接到该模型.

引用这篇论文的数据集0

没有链接到这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.26030，即可从此页面链接到该数据集.

引用这篇论文的 Spaces0

没有链接到这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.26030，即可从此页面链接到该 Space.

包含这篇论文的合集0

没有包含这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集.

相似文章

循环 Transformer 中的截断反向传播会损失多少梯度？

arXiv cs.LG

本文针对九个模型，精确测量了通过截断反向传播训练循环 Transformer 时损失的权重梯度量，发现梯度损失主要由靠近输出端的部分决定，在微调过程中逐渐减小，而且这种测量方法并未明显优于 Parcae 规则等无需测量的成本启发式方法。

DeepLoop：循环Transformer的深度缩放

arXiv cs.LG

DeepLoop为循环Transformer引入了一种残差缩放方法，该方法根据参数访问进行调整，从而在物理块跨多轮重用时提高稳定性和性能。

关于循环变换器中残差缩放：稳定性与可迁移性

arXiv cs.LG

本文分析了循环（权重共享）变换器中的残差缩放问题，表明权重共享需要比标准残差网络更强的缩放（1/N），并推导出一种因式参数化方法，使得超参数可以在不同循环次数之间迁移，无需重新调参。

什么是 Looped Transformers？清晰解释（8分钟阅读）

TLDR AI

Looped transformers 在多次传递中重复使用相同的层，以参数数量换取计算量，用更少的权重实现更好的推理。文章追溯了这一想法到 Universal Transformer (2018)，并解释了其最初因扩展定律和时机而失败的原因。

全循环Transformer：简单稳定循环

arXiv cs.LG

本文识别出梯度振荡和残差爆炸是循环Transformer训练不稳定的原因，并提出了全循环Transformer，包含两个无需参数调整的修改（全循环架构和注意力注入），能够稳定训练至12次循环迭代，在下游任务性能上实现了高达13.2%的提升。