Extender：一种日志结构化 Transformer

Hugging Face Daily Papers 论文
transformer architecture attention memory-efficiency long-context log-structured

摘要

提出了 Extender，一种日志结构化的 Transformer 架构，通过增加一条拼接通道 ε 而非仅依赖残差通道 h，在 924M 参数规模下实现与 Transformer 相当的短上下文精度、更优的长上下文（RULER）表现，且持久化注意力内存足迹比多头注意力缩小 10⁴ 倍。

我们提出 Extender，这是一种标准 Transformer 架构的日志结构化变体。在标准 Transformer 中，每一层只通过残差通道 h 与后续层通信，h 是一种叠加通道。Extender 额外增加了一条拼接通道 x：每一层 ℓ 不仅输出残差更新 δ_ℓ（加到 h 上），还输出一个小得多的扩展 ε_ℓ（拼接到 x 上）。虽然 FFN 和 q 都以 h 为输入，但注意力的 kv 投影仅以 x 为输入。因此，完整扩展后的 x 包含了所有层 kv 投影所需的全部输入，使持久化注意力内存足迹从 2Ld_model 降至 Σ|ε_ℓ|。我们发现，当 |ε_ℓ|=32 时，Extender 在 199M–924M 参数规模下，于短上下文（CORE）任务上可达到与 Transformer 相当的精度；在 924M 参数规模下，于长上下文（RULER）负载上的精度甚至超过 Transformer。对于我们的 1664 宽度、924M 参数的模型，Extender 的持久化注意力内存足迹比 MHA 小 10⁴ 倍。这种内存节省会随模型宽度增大而增长。
查看原文
查看缓存全文

缓存时间: 2026/10/05 20:50

论文页面 - The Extender：一种日志结构化的 Transformer

来源：https://huggingface.co/papers/2609.32759

摘要

我们提出了 The Extender，这是标准 Transformer 架构的一种日志结构化（log-structured）变体。在标准 Transformer 中，每一层与后续层的通信完全依赖于残差流 h——这是一个叠加信道。Extender 额外引入了一个拼接信道 x：每一层 ℓ 会同时产生一个残差更新 δ_ℓ（加到 h 上）以及一个小得多的扩展 ε_ℓ（拼接到 x 上）。尽管 FFN 和 q 都能读到 h，但注意力的 k/v 投影仅以 x 作为输入。因此，完整扩展后的 x 包含了所有层 k/v 投影的完整输入，将持久化注意力内存占用从 2L·d_{model} 降低到 Σ‖ε_ℓ‖。我们发现，在 ‖ε_ℓ‖=32 的设置下，Extender 在短上下文（CORE）任务上于 199M–924M 参数规模与 Transformer 精度持平，并在长上下文（RULER）工作负载上同样于 924M 参数规模超过了 Transformer 的精度。对于我们的 1664 宽度、924M 参数模型，Extender 的持久化注意力内存占用比 MHA 小 104 倍。这一内存节省会随模型宽度的增长而进一步扩大。

查看 arXiv 页面 (https://arxiv.org/abs/2609.32759) · 查看 PDF (https://arxiv.org/pdf/2609.32759) · 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.32759)

在你的智能体中获取该论文：

hf papers read 2609\.32759

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型：0

暂无模型关联此论文。

在模型的 README.md 中引用 arxiv.org/abs/2609.32759 即可将其关联到本页面。

引用该论文的数据集：0

暂无数据集关联此论文。

在数据集的 README.md 中引用 arxiv.org/abs/2609.32759 即可将其关联到本页面。

引用该论文的 Spaces：0

暂无 Space 关联此论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2609.32759 即可将其关联到本页面。

包含该论文的收藏夹：0

暂无收藏夹包含此论文。

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 即可将其关联到本页面。

相似文章

Recurrent Looped Transformer

Hugging Face Daily Papers

论文提出 Recurrent Looped Transformer (RLT)，将层划分为并行因果编码器和循环解码器，使计算路径随序列长度增长而每个 token 的成本保持固定，在奇偶校验、S_5 置换追踪和模运算等算法任务上，长度外推能力显著优于标准 Transformer。

面向循环 Transformer 的因果潜在工作区

arXiv cs.CL

该论文提出因果潜在工作区 Transformer（causal latent workspace Transformer），通过在共享深度的循环块之间加入可读写的前缀专属潜在槽位，提升了循环 Transformer 的语言建模困惑度，并在三个字节级语料上的多数设置中优于五个基线对照。

你的 Transformer 其实是弹性的

Hugging Face Daily Papers

提出一种免重训练的方法，将预训练 Transformer 转化为可弹性伸缩的模型。通过联合排序并软剪枝单个 MLP 神经元和注意力头，在多种稀疏度目标下连续自适应计算预算，在 27 个视觉与文本 Transformer 编码器上实现了最高 60% 稀疏度下的平滑性能衰减。

你本可以从记忆中推导出 Transformer

Hacker News Top

一篇技术博客，通过"关联记忆"的视角重新推导 Transformer：从线性层的外积记忆，到 MLP 的容量提升，再到自注意力的近乎无界记忆容量，并给出各层可存储记忆数量的启发式估算（如 64 维键可从约 64 条提升到上百万条记忆）。