面向长上下文线性注意力的 Kronecker Delta 规则

Hugging Face Daily Papers 论文
linear-attention long-context memory-architecture transformers robotics physical-ai

摘要

介绍基于 Kronecker Delta 规则的长上下文线性注意力研究（KronLSTM），在长上下文基准上表现优异，并被认为对物理 AI 与机器人的持续状态记忆具有潜在影响。

我们提出了 KronLSTM，这是一种基于 Kronecker Delta 规则的线性注意力架构，该规则是一种用于联想矩阵记忆的新型更新规则。KronLSTM 扩展了 xLSTM 系列，引入了记忆修订机制，能够在仅沿矩阵空间中单一方向修改记忆的同时，修正目标关联。与 delta 规则更新相比，这种最小侵入式的记忆修订减少了对先前存储信息的干扰，使其特别适合长上下文语言建模。由此产生的记忆动态可以在数学上描述为一个收敛到稳态分布的马尔可夫链，同时记忆矩阵的期望范数在整个输入序列过程中始终保持一致有界。因此，KronLSTM 无需额外的归一化和稳定化机制即可确保记忆动态的稳定性。实验表明，KronLSTM 与现有的线性注意力架构（包括 (Gated) DeltaNet 系列模型）相比具有竞争力，且往往表现更优，在长上下文基准上尤其出色。这些结果确立了 Kronecker Delta 规则作为循环线性注意力架构中稳定联想记忆的一种有效且可解析的基础。我们的代码（https://github.com/NX-AI/KronLSTM）和模型（https://huggingface.co/collections/NX-AI/kronlstm）均已开源。
查看原文
查看缓存全文

缓存时间: 2026/10/20 07:33

论文页面 - 用于长上下文线性注意力的 Kronecker Delta 规则

来源：https://huggingface.co/papers/2610.26834

让我最兴奋的是 KronLSTM 在物理 AI 和机器人领域的潜在影响。

机器人不仅需要感知和行动，还需要记忆、追踪变化的状态，并在不丢失相关历史经验的情况下持续整合新信息。

而这正是更精确、更高效的内存架构可能成为颠覆性技术的地方。

基准测试结果非常出色，尤其是在长上下文任务上。当然，下一步是在真实的机器人应用中验证这些优势。

相似文章

历史自我重演：释放线性注意力的长上下文能力

Hugging Face Daily Papers

论文提出了 NoteBank，一种免训练的稀疏情景记忆，通过归档选定文本并通过原生计算进行重放来增强线性注意力模型，在一百万 token 下将 Gated DeltaNet 在 RULER 上的长上下文检索准确率从 1.7% 提升至 70.3%，且 FLOPs 开销可忽略不计。

三元线性注意力：用于长上下文序列建模的三维循环状态

Hugging Face Daily Papers

论文提出了三元线性注意力，它将线性注意力加以推广，通过将两个键（key）和一个值（value）的三重外积写入一个三阶张量状态，仅需两个额外投影即可实现 E 倍的状态容量提升。将其应用于 Gated DeltaNet 和标量门控线性注意力后，长上下文语言建模与召回能力均得到改善，优于其他扩大状态容量的方法。

Dynamic Linear Attention

Hugging Face Daily Papers

DLA引入了自适应状态合并和容量受限的内存建模，用于多状态线性注意力，提升了长上下文LLM的性能。

动态线性注意力

arXiv cs.CL

本文提出DLA，一种用于多状态线性注意力的动态内存建模框架，它能根据令牌信息变化自适应地合并状态，并维护固定大小的状态缓存，从而在无需标准注意力二次复杂度的前提下实现更好的长上下文表示。

变分线性注意力：用于长上下文 Transformer 的稳定联想记忆

arXiv cs.LG

本文介绍了变分线性注意力（VLA），这是一种用于稳定长上下文 Transformer 中线性注意力机制记忆状态的方法。VLA 将记忆更新重构为在线正则化最小二乘问题，证明了状态范数的有界性，并展示了相较于标准线性注意力和 DeltaNet 显著的速度提升以及更高的检索准确性。