论文页面 - Dynamic Linear Attention

来源：https://huggingface.co/papers/2606.10650

摘要

DLA通过引入自适应状态合并和容量受限的记忆建模，改进了多状态线性注意力机制，解决了长上下文大语言模型中的局限性。

大语言模型（https://huggingface.co/papers?q=Large%20Language%20Models）在长上下文场景下的可扩展性从根本上受限于标准注意力（https://huggingface.co/papers?q=standard%20attention）的二次复杂度，这促使人们采用具有次二次成本的线性注意力机制（https://huggingface.co/papers?q=linear%20attention%20mechanisms）。为了提升长上下文下的表示能力，近期方法以多状态方式组织记忆。然而，现有的多状态线性注意力（https://huggingface.co/papers?q=multi-state%20linear%20attention）方法依赖于固定的状态合并策略，无法适应动态变化的token重要性（https://huggingface.co/papers?q=token%20importance），导致关键token被不可逆地掩盖，并在长序列中引发严重的误差累积。为解决这一问题，我们提出了DLA，一种针对多状态线性注意力（https://huggingface.co/papers?q=multi-state%20linear%20attention）的动态记忆建模框架。DLA引入了：(i) 信息感知动态状态合并（https://huggingface.co/papers?q=Information-Aware%20Dynamic%20State%20Merging），它根据token级别的信息变化自适应地确定状态边界，在语义转换附近保留高分辨率表示，同时主动压缩稳定区域；(ii) 容量受限记忆建模（https://huggingface.co/papers?q=Capacity-Bounded%20Memory%20Modeling），通过选择性地合并相邻的低信息状态，维持一个固定大小、按时间顺序排列的状态缓存，从而以最小信息损失控制记忆增长。我们在两种不同的线性注意力模型上预训练了DLA，并在三大类共16个数据集上进行了评估。实验结果表明，DLA优于当前最先进的方法。

查看arXiv页面（https://arxiv.org/abs/2606.10650）查看PDF（https://arxiv.org/pdf/2606.10650）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.10650）

在你的智能体中获取这篇论文：

hf papers read 2606.10650

没有最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型0

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.10650 即可从此页面链接。

引用该论文的数据集0

暂无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.10650 即可从此页面链接。

引用该论文的Spaces0

暂无Space链接此论文

在Space README.md 中引用 arxiv.org/abs/2606.10650 即可从此页面链接。

包含该论文的合集0

暂无合集包含此论文

将这篇论文添加到合集（https://huggingface.co/new-collection）中即可从此页面链接。