标签
本文介绍了full-bandwidth transformers，它利用潜在反馈来增强自回归模型，允许未表达的计算重新进入堆栈，从而以可忽略的解码开销提高性能。
全带宽Transformer是一种新的Transformer变体，通过门控线性单元反馈顶层隐藏状态，在不改变核心架构的情况下提升推理能力和效率。在多达400B个token上训练后，它能匹配使用1.5倍数据训练的标准Transformer，同时生成更短的推理轨迹。