标签
KAIST 研究人员提出了 PRKV,一种无需训练的 KV 缓存淘汰方法。该方法在由注意力构建的图上使用个性化 PageRank,估计词元的多跳全局重要性,实现了高达 90% 的压缩率,同时在长上下文、检索和推理任务中保持了具有竞争力的性能。
精读介绍了 AtlasKV 论文:把十亿级三元组知识图谱以不到 20GB 显存接入 LLM,通过 KG2KV 将三元组映射为 Q-K-V 并用 HiKVP 分层剪枝,实现亚线性开销且无需外部检索器,在分布外数据集上大幅超越 KBLaM。
提出一种“零温度注意力”(冷注意力)高阶注意力层,其状态存储在物品对上,并以零温度读取见证者分数。在最大值检索、CLRS-30、2-SAT、CLUTRR 以及与冻结的 7B 语言模型协作的推理任务上,该层显著优于软注意力基线和已发表的模型。
该论文提出一个以任务为中心的框架,结合注意力/激活信号与表示度量,刻画LLM在基准测试中的内部处理过程,将检索主导与推理主导的任务置于连续谱上,从而揭示任务级分数所掩盖的失败模式;作者在24个基准上评估了16个LLM并开源了代码。
一篇关于 NVIDIA 的 TriAttention 研究的讨论,该研究聚焦于 vLLM 中的 KV 缓存压缩,认为真正的收益来自释放 GPU 内存块,而非逐出 token。据报告,解码速度提升至 2.5 倍,KV 缓存内存占用降至原来的 1/10.7。
本文提出了双向 KV 缓存修补方法,用于追踪微调所形成的行为如何在语言模型中实现。研究表明,通过复用 KV 缓存,可以在经 LoRA 微调的模型与其基础模型之间迁移用德语回答或涌现性失对齐等行为,其影响主要集中在系统提示和聊天模板位置等关键词元上。
本文在受控的单头注意力设定下提出了一种用于长度泛化的可实现性理论,通过仿真迁移算子推导出相对位置编码与绝对位置编码在外推行为上存在差异的原因,并通过对2625个已训练模型的实验验证了这一理论结构。
本文研究多模态大模型中的检索头机制如何随输入模态扩展,发现跨模态共享的检索头虽不足2%,却对文档理解、空间感知等至关重要,并通过排序目标优化这些注意力头,将Qwen3-VL-8B在MMDocIR上的页面Recall@1提升了6.03个点。
LazyFlash 提出一种前向稠密、后向稀疏的注意力机制,通过梯度感知的块稀疏化在保持模型性能的同时,实现最高 5.7x 的注意力反向加速和 1.7x 的端到端训练加速,适用于长上下文 LLM 微调。
该论文提出了一套渐近理论,解释了为什么 Muon 的正交化预条件器与神经网络在初始化时的 Hessian 矩阵结构相匹配,并表明在四种典型模型中,过参数化促使 E[GG^T] 呈现对角占优性。
该论文证明每个 Transformer 块都可精确编译为由固定仿射映射、路由及 sigmoid/逆平方根等基本算子构成的通用深度神经网络,量化分析了去除激活-激活乘积的代价,并提出多智能体注意力聚类方法将打分复杂度从 N² 降至 Nk,实验在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上验证了编译模型与原模型一致且标准后训练量化可直接适用。
LEAF 提出首个 LUT 感知的 Transformer/linformer 架构,面向 FPGA 上的超低延迟推理,在喷注标记基准上以更少 LUT 资源实现更高精度,适用于 CERN 等实时系统。
UC Berkeley、Apple、EPFL、Harvard、MIT 和 Google DeepMind 的研究人员发现,在排序任务上训练的两层 Transformer 会根据初始化的不同收敛到两种机制上截然不同的解类别,其中只有双注意力层的解能够完美实现长度泛化。
TokenGate 是一个轻量级可学习的 token 剪枝模块,通过 token-gated attention 机制在长上下文预填充阶段跳过不重要的 token,实现 1.4–11.3 倍的 TTFT 加速和 1.5–3.4 倍的峰值内存降低且无精度损失。
本文提出 FocusGUI,一个轻量级适配器,能够动态为 GUI 智能体选择相关的多模态证据,防止无关上下文导致的错误累积,从而在不微调主干模型的情况下提升动作准确率。
AWS研究人员提出了一种名为"priming"的方法,能够在无需完全重新训练的情况下,将预训练的Transformer转换为混合状态空间架构,将预训练成本降低99%以上,并发布了经过priming处理的8B和32B模型检查点。
该论文提出一种基于非线性时间延迟系统的序列建模框架,通过可微语义延迟估计器、对角状态空间的闭式 O(1) 解以及可解释的模糊语义调制机制,在文本分类和生成任务上超越了现有最先进方法。
论文提出 HART,一种混合注意力与 RWKV 的时间序列基础模型,通过交替注意力和 RWKV 模块解决非自回归多步预测中 RWKV-7 的长程退化问题(占位符空闲衰减)。仅用 36M 参数(约为 Toto-2.0-1B 的 1/28)在 GIFT-Eval 上达到可媲美的长程 MASE(0.752 对比 0.754)。
提出克罗内克积注意力(KPA),使用克罗内克积的紧凑矩阵因子表示键值激活,实现最高 10 倍的 KV 缓存压缩,同时在多个模型规模和基准测试上达到或超越 TPA、MQA、GQA 和 MLA 等方法的表现。
该论文研究安全对齐大模型中注意力与MLP模块在有害性识别与拒绝生成中的不同作用路径,提出结合注意力感知分数与MLP决策分数的Sentinel方法,以更准确地区分越狱与过度拒绝行为。