标签
腾讯研究人员在 Hugging Face 上发布了 STEPQuant，一个针对 Delta-rule 循环状态的空间-时间后训练量化框架，仅用 6-bit 状态即可匹配 FP32 精度，并将服务内存最多削减 68.7%。
论文提出了 STEPQuant，一个面向线性注意力模型中 Delta 规则递归状态的时空训练后量化框架，在 6-bit 精度下达到接近 FP32 的准确率，实现超过 5 倍的状态压缩，并在集成到 SGLang 后最多可将服务内存降低 68.7%。
本文介绍了Complex KDA，这是对Kimi Delta Attention的增强，通过实现二维旋转和状态追踪能力，提高了线性RNN的表达能力，从而在长度外推和语言建模性能上取得了卓越表现。
本文提出了DeltaMomentum，一种基于键值的动量更新规则，它根据输入频率调整遗忘率，在各种规模的神经网络训练中展示了更快的收敛速度。
提出擦除后增量注意力（EDA），一种用于线性注意力的记忆更新规则，它在写入新内容之前，先通过解耦擦除和写入地址来有选择地抑制过时信息。在2.5B密集模型和25B MoE模型上的实验表明，在标准评估和长上下文评估中均取得一致增益。
Gated DeltaNet-2 为线性注意力引入了独立的擦除门和写入门，在长上下文语言建模和检索任务中实现了优越的性能。
提出 delta-Mem，一种轻量级在线记忆机制，利用紧凑状态矩阵并通过增量规则学习进行更新，以提升冻结大型语言模型的长上下文性能，无需全量微调或上下文扩展。
本文介绍了δ-mem，一种轻量级在线记忆机制，它通过delta规则学习更新的紧凑型关联记忆状态来增强冻结的LLM，在记忆密集型基准测试中取得了显著改进，无需微调或上下文扩展。