latent-feedback

全带宽Transformer是一种新的Transformer变体，通过门控线性单元反馈顶层隐藏状态，在不改变核心架构的情况下提升推理能力和效率。在多达400B个token上训练后，它能匹配使用1.5倍数据训练的标准Transformer，同时生成更短的推理轨迹。