Gated Recurrent Transformers：通过循环调制实现Transformer中的表达性深度

Hugging Face Daily Papers 论文
transformer-architecture recurrent-model gated-mechanisms depth-sharing memory-efficiency parameter-efficient language-modeling

摘要

本文介绍了Gated Recurrent Transformer模型，该模型通过自适应更新门在深度上重用共享核心，以更少的参数和更低的内存实现与更深模型相当或更好的质量。

扩展Transformer语言模型会在表达性和内存效率之间产生固有矛盾。虽然跨层的唯一权重保留了功能专化——从输入锚定到抽象精炼——但会带来巨大的内存占用。相反，标准深度共享强制统一变换，导致表示多样性坍缩并降低建模质量。我们引入了Gated Recurrent Transformer，这是一种循环深度Transformer，其中固定深度的序言和尾声块围绕一个单一的共享核心迭代R次。受门控循环神经网络启发，我们采用轻量级投影和逐元素更新门——该门基于隐藏状态、固定序言输出和每一步重新采样的噪声——来调制循环更新。这允许模型在多次循环中将输入特化到相同的几层，而不是需要许多唯一层来实现功能多样性。在isoFLOPS约束下，3层Gated Recurrent Transformer在相似的训练和推理FLOPs下匹配12层GPT-2 Small基线的准确性，并在所有九个规模预算单元中领先于MoR和重尾深度采样；在中等和大规模下，它在标准令牌预算下接近密集模型质量，并在该预算加倍时在中等规模上超越它。在isoPARAMS约束下，更深的循环在匹配参数和数据预算下实现了2.76的验证损失，而非循环对应模型为2.84。我们的结果表明，自适应深度重用是用参数换取质量的原则性策略：在大规模下，减少63%的参数和59%的峰值解码内存，同时编译生成延迟增加10%。
查看原文
查看缓存全文

缓存时间: 2026/08/27 07:19

论文页面 - 门控循环Transformer：通过循环调制实现Transformer的表达深度

来源：https://huggingface.co/papers/2608.15062

摘要

门控循环Transformer通过自适应更新门在深度维度上复用共享核心模块，以远少于更深模型的参数量和更低的内存消耗，实现了与之相当或更优的性能表现。

扩展Transformer语言模型会在表达能力与内存效率之间产生内在矛盾。虽然各层独立的参数权重能保持从输入锚定到抽象精炼的层级功能特异性，但会带来巨大的内存开销。相反，标准的深度共享方法强制统一变换，压缩表征多样性并损害建模质量。我们提出门控循环Transformer，这是一种循环深度Transformer架构——固定深度的前导与尾声模块包裹着迭代R次的共享核心。受门控循环神经网络启发，我们采用轻量投影和逐元素更新门，该门控基于隐藏状态、固定前导输出以及每步重采样的噪声，对循环更新进行调制。这使得模型能在多次复用中针对相同层级的输入进行特化，而无需大量独立层级来实现功能多样性。

在等计算量约束下，3层门控循环Transformer在相似的训练与推理计算量下达到了12层GPT-2小型基线的精度水平，并在所有九种按预算缩放场景中优于混合专家模型和重尾深度采样；在中等与大规模配置下，其性能接近标准词符预算的密集模型质量，且在预算加倍的中等规模场景中实现反超。在等参数约束下，更深循环结构在匹配参数与数据预算的条件下取得2.76的验证损失，显著优于非循环对应模型的2.84。我们的研究表明，自适应深度复用是以参数换取质量的有效策略：在大规模场景中，该方法以63%的参数削减和59%的峰值解码内存节省，仅带来10%的编译生成延迟增加。

查看arXiv页面 (https://arxiv.org/abs/2608.15062)查看PDF (https://arxiv.org/pdf/2608.15062)GitHub2 (https://github.com/Amr-Hegazy1/gated-recurrent-transformer)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.15062)

在您的智能体中获取本文：

hf papers read 2608\.15062

未安装最新版CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

暂无模型关联本文

在模型README.md中引用arxiv.org/abs/2608.15062即可从本页面关联。

引用本文的数据集 0

暂无数据集关联本文

在数据集README.md中引用arxiv.org/abs/2608.15062即可从本页面关联。

引用本文的Space 0

暂无Space关联本文

在Space README.md中引用arxiv.org/abs/2608.15062即可从本页面关联。

包含本文的收藏 0

暂无收藏包含本文

将本文添加到收藏 (https://huggingface.co/new-collection)即可从本页面关联。

相似文章

GTR：用于高效密集预测的门控 token 循环机制

Hugging Face Daily Papers

该论文提出 GTR，一个无需 softmax 的循环视觉主干网络，采用门控线性注意力，在 COCO 上以约 1.9 ms 的延迟达到 58.9 box AP。该模型从 DINOv3 检测教师模型蒸馏而来，适用于高分辨率密集预测和边缘部署。