attention

标签

Cards List
#attention

用于 KV 缓存驱逐的全局重要性估计

arXiv cs.CL ↗ · 8小时前 缓存

KAIST 研究人员提出了 PRKV,一种无需训练的 KV 缓存淘汰方法。该方法在由注意力构建的图上使用个性化 PageRank,估计词元的多跳全局重要性,实现了高达 90% 的压缩率,同时在长上下文、检索和推理任务中保持了具有竞争力的性能。

0 人收藏 0 人点赞
#attention

@Zen_with_AI: 小路精读了 AtlasKV 这篇论文,推荐给在做知识图谱加 LLM 的朋友。10 亿条三元组的图谱,推理时显存不到 20GB,训练只用了一张 48GB 的卡。 论文要解决的问题是,怎么把超大知识图谱接到 LLM 上,又不依赖外部检索器和长…

X AI KOLs Timeline ↗ · 15小时前 缓存

精读介绍了 AtlasKV 论文:把十亿级三元组知识图谱以不到 20GB 显存接入 LLM,通过 KG2KV 将三元组映射为 Q-K-V 并用 HiKVP 分层剪枝,实现亚线性开销且无需外部检索器,在分布外数据集上大幅超越 KBLaM。

0 人收藏 0 人点赞
#attention

绝对零度下的注意力

Hugging Face Daily Papers ↗ · 3天前 缓存

提出一种“零温度注意力”(冷注意力)高阶注意力层,其状态存储在物品对上,并以零温度读取见证者分数。在最大值检索、CLRS-30、2-SAT、CLUTRR 以及与冻结的 7B 语言模型协作的推理任务上,该层显著优于软注意力基线和已发表的模型。

0 人收藏 0 人点赞
#attention

追踪大语言模型中的知识与推理

arXiv cs.CL ↗ · 4天前 缓存

该论文提出一个以任务为中心的框架,结合注意力/激活信号与表示度量,刻画LLM在基准测试中的内部处理过程,将检索主导与推理主导的任务置于连续谱上,从而揭示任务级分数所掩盖的失败模式;作者在24个基准上评估了16个LLM并开源了代码。

0 人收藏 0 人点赞
#attention

@KanikaBK:我认为,AI 记忆优化中最大的错误之一,就是衡量你删掉了多少 token,而不是衡量你……

X AI KOLs Timeline ↗ · 2026-11-02 缓存

一篇关于 NVIDIA 的 TriAttention 研究的讨论,该研究聚焦于 vLLM 中的 KV 缓存压缩,认为真正的收益来自释放 GPU 内存块,而非逐出 token。据报告,解码速度提升至 2.5 倍,KV 缓存内存占用降至原来的 1/10.7。

0 人收藏 0 人点赞
#attention

KV 缓存修补:追踪微调行为如何产生及在何处产生

arXiv cs.CL ↗ · 2026-11-02 缓存

本文提出了双向 KV 缓存修补方法,用于追踪微调所形成的行为如何在语言模型中实现。研究表明,通过复用 KV 缓存,可以在经 LoRA 微调的模型与其基础模型之间迁移用德语回答或涌现性失对齐等行为,其影响主要集中在系统提示和聊天模板位置等关键词元上。

0 人收藏 0 人点赞
#attention

单头注意力中长度泛化的位置可实现性理论

arXiv cs.LG ↗ · 2026-11-02 缓存

本文在受控的单头注意力设定下提出了一种用于长度泛化的可实现性理论,通过仿真迁移算子推导出相对位置编码与绝对位置编码在外推行为上存在差异的原因,并通过对2625个已训练模型的实验验证了这一理论结构。

0 人收藏 0 人点赞
#attention

更全面地探究 MLLM 的检索头

arXiv cs.CL ↗ · 2026-10-26

本文研究多模态大模型中的检索头机制如何随输入模态扩展,发现跨模态共享的检索头虽不足2%,却对文档理解、空间感知等至关重要,并通过排序目标优化这些注意力头,将Qwen3-VL-8B在MMDocIR上的页面Recall@1提升了6.03个点。

0 人收藏 0 人点赞
#attention

LazyFlash:通过前向稠密、反向稀疏注意力加速长上下文微调

arXiv cs.CL ↗ · 2026-10-26

LazyFlash 提出一种前向稠密、后向稀疏的注意力机制,通过梯度感知的块稀疏化在保持模型性能的同时,实现最高 5.7x 的注意力反向加速和 1.7x 的端到端训练加速,适用于长上下文 LLM 微调。

0 人收藏 0 人点赞
#attention

正交化如何适应神经网络的海森矩阵结构?初始化时的梯度自外积分析

arXiv cs.LG ↗ · 2026-10-22 缓存

该论文提出了一套渐近理论,解释了为什么 Muon 的正交化预条件器与神经网络在初始化时的 Hessian 矩阵结构相匹配,并表明在四种典型模型中,过参数化促使 E[GG^T] 呈现对角占优性。

0 人收藏 0 人点赞
#attention

作为通用深度神经网络的 Transformer:精确编译、消除激活值之间乘积的代价,以及多智能体注意力聚类

arXiv cs.LG ↗ · 2026-10-22 缓存

该论文证明每个 Transformer 块都可精确编译为由固定仿射映射、路由及 sigmoid/逆平方根等基本算子构成的通用深度神经网络,量化分析了去除激活-激活乘积的代价,并提出多智能体注意力聚类方法将打分复杂度从 N² 降至 Nk,实验在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上验证了编译模型与原模型一致且标准后训练量化可直接适用。

0 人收藏 0 人点赞
#attention

LEAF:面向 FPGA 的 LUT 感知高效注意力机制

arXiv cs.LG ↗ · 2026-10-21 缓存

LEAF 提出首个 LUT 感知的 Transformer/linformer 架构,面向 FPGA 上的超低延迟推理,在喷注标记基准上以更少 LUT 资源实现更高精度,适用于 CERN 等实时系统。

0 人收藏 0 人点赞
#attention

Transformer 学会了两种相互竞争的排序算法,只有一种能实现长度泛化

arXiv cs.LG ↗ · 2026-10-21 缓存

UC Berkeley、Apple、EPFL、Harvard、MIT 和 Google DeepMind 的研究人员发现,在排序任务上训练的两层 Transformer 会根据初始化的不同收敛到两种机制上截然不同的解类别,其中只有双注意力层的解能够完美实现长度泛化。

0 人收藏 0 人点赞
#attention

TokenGate:通过学习到的 Token 剪枝实现 LLM 快速且节省内存的预填充

Hugging Face Daily Papers ↗ · 2026-10-19 缓存

TokenGate 是一个轻量级可学习的 token 剪枝模块,通过 token-gated attention 机制在长上下文预填充阶段跳过不重要的 token,实现 1.4–11.3 倍的 TTFT 加速和 1.5–3.4 倍的峰值内存降低且无精度损失。

0 人收藏 0 人点赞
#attention

# 专注型全模态 GUI 智能体

Hugging Face Daily Papers ↗ · 2026-10-19 缓存

本文提出 FocusGUI,一个轻量级适配器,能够动态为 GUI 智能体选择相关的多模态证据,防止无关上下文导致的错误累积,从而在不微调主干模型的情况下提升动作准确率。

0 人收藏 0 人点赞
#attention

能否在不从零重新训练的情况下改变AI模型的架构?(14分钟阅读)

TLDR AI ↗ · 2026-10-13 缓存

AWS研究人员提出了一种名为"priming"的方法,能够在无需完全重新训练的情况下,将预训练的Transformer转换为混合状态空间架构,将预训练成本降低99%以上,并发布了经过priming处理的8B和32B模型检查点。

0 人收藏 0 人点赞
#attention

用于序列建模的时间延迟系统

arXiv cs.CL ↗ · 2026-10-12 缓存

该论文提出一种基于非线性时间延迟系统的序列建模框架,通过可微语义延迟估计器、对角状态空间的闭式 O(1) 解以及可解释的模糊语义调制机制,在文本分类和生成任务上超越了现有最先进方法。

0 人收藏 0 人点赞
#attention

HART:混合注意力-RWKV 时间序列基础模型

arXiv cs.LG ↗ · 2026-10-12 缓存

论文提出 HART,一种混合注意力与 RWKV 的时间序列基础模型,通过交替注意力和 RWKV 模块解决非自回归多步预测中 RWKV-7 的长程退化问题(占位符空闲衰减)。仅用 36M 参数(约为 Toto-2.0-1B 的 1/28)在 GIFT-Eval 上达到可媲美的长程 MASE(0.752 对比 0.754)。

0 人收藏 0 人点赞
#attention

克罗内克积注意力:通过结构化分解实现内存高效的 KV 压缩

arXiv cs.LG ↗ · 2026-10-12 缓存

提出克罗内克积注意力(KPA),使用克罗内克积的紧凑矩阵因子表示键值激活,实现最高 10 倍的 KV 缓存压缩,同时在多个模型规模和基准测试上达到或超越 TPA、MQA、GQA 和 MLA 等方法的表现。

0 人收藏 0 人点赞
#attention

注意力看见,MLP拒绝:追踪大语言模型中从注意力到MLP的安全路径

arXiv cs.AI ↗ · 2026-10-12 缓存

该论文研究安全对齐大模型中注意力与MLP模块在有害性识别与拒绝生成中的不同作用路径,提出结合注意力感知分数与MLP决策分数的Sentinel方法,以更准确地区分越狱与过度拒绝行为。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈