论文页面 - Parallax：用于语言建模的参数化局部线性注意力

来源：https://huggingface.co/papers/2605.29157

摘要

局部线性注意力通过参数化和硬件感知优化得到增强，在保持计算稳定性的同时提升了 LLM 训练效率和性能。

大型语言模型（LLM）已成为人工智能的核心范式，但其核心计算原语——注意力机制在结构上始终未曾改变。局部线性注意力（Local Linear Attention，LLA）是一种源自测试时回归框架中非参数统计的注意力机制。与先前关于高效注意力变体的研究不同，LLA 将 softmax 注意力中的局部常数估计升级为局部线性估计，在关联记忆方面实现了可证明更优的偏差-方差权衡。然而，由于计算和数值稳定性问题，LLA 尚未在 LLM 预训练中进行规模化应用。我们提出 Parallax，一种可扩展至 LLM 的参数化局部线性注意力。Parallax 消除了 LLA 中的数值求解器，并学习一个额外的类查询投影器来探测 KV 协方差。我们将 Parallax 置于一个由带宽、探测器构造和仿射结构连接的注意力机制家族之中。我们提出一种硬件感知算法，相比 FlashAttention 提高了算术强度，使注意力进入更偏向计算密集的范式。我们的原型解码核在不同批次大小和上下文长度下，性能可媲美或超越 FlashAttention 2/3。我们在 0.6B 和 1.7B 规模上预训练 Parallax，发现整个预训练过程中困惑度持续改善，并且这种提升可迁移至下游基准测试。在参数匹配和计算匹配两种控制条件下，该优势均持续存在，展现了帕累托改进。我们进行了细致的预训练消融实验，并发现一个新现象：Muon 优化器释放了 Parallax 的能力。据我们所知，这是架构研究文献中首次针对注意力机制展示架构-优化器强协同设计的实证结果。

查看 arXiv 页面 (https://arxiv.org/abs/2605.29157)
查看 PDF (https://arxiv.org/pdf/2605.29157)
GitHub (https://github.com/Yifei-Zuo/Parallax)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.29157)

在你的代理中获取这篇论文：

hf papers read 2605.29157

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

在模型的 README.md 中引用 arxiv.org/abs/2605.29157 即可从此页面链接该模型。

引用此论文的数据集0

没有数据集链接到此论文

在数据集的 README.md 中引用 arxiv.org/abs/2605.29157 即可从此页面链接该数据集。

引用此论文的 Space0

没有 Space 链接到此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2605.29157 即可从此页面链接该 Space。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到一个收藏 (https://huggingface.co/new-collection) 即可从此页面链接它。