标签
该论文介绍了声明式注意力技术，LLMs明确声明需要关注哪些上下文段，从而将令牌使用量最多减少52%，同时准确率下降极小。
本文推测，注意力机制之后的下一个重大突破可能涉及具有输入依赖权重的AI架构，可能基于DeepSeek的Engram机制构建。
Grouped Value Attention通过存储分组值并通过学习到的线性映射重建键来减少Transformer的KV缓存大小，以更小的持久缓存实现接近GQA的准确率。
Random Attention 提出了一种无信号的 KV 缓存驱逐策略，适用于推理模型，在 MATH-500 和 LiveCodeBench 等基准测试中，其性能匹配或超越了学习方法，同时推理速度更快。
RenderFormer-V2是一种基于Transformer的神经渲染模型，它使用两阶段序列到序列架构，结合改进的注意力机制，支持异构场景图元，能够处理多样化的光传输效果。
这篇论文介绍了声明式注意力，一种允许语言模型声明其在思维链中关注位置的协议，在 Gemma-4-31B 上减少 52% 的关注令牌，在 Qwen-3.6-27B 上减少 31.1%，精度损失最小。
本文详细解释了Transformer架构，包括注意力机制、QKV和残差连接，并从N-gram到LSTM的历史发展入手。
IMPACT是一个可扩展的框架，用于训练交互感知世界模型，通过使用交叉注意力作为内部交互图来重新加权去噪监督，在无需外部表示或推理时更改的情况下提升性能。
本文介绍了一种名为Declarative Attention的方法，该方法使语言模型能够在推理时声明相关上下文区域，从而显著减少键值缓存的读取次数，在长上下文任务中仅带来轻微的精度损失。
本文解释了在自回归大语言模型中，为什么 KV 缓存只存储键和值向量而不存储查询向量，并详细介绍了优化令牌生成的推理过程。
本文介绍了ClusterAttention，这是一种无训练方法，通过使用递归聚类实现块稀疏注意力，加速Transformer模型中的双向注意力。在表格数据上实现了2-6倍的加速，在视频生成上实现了1.8倍的加速，同时保持了高准确度。
HyQuant 通过保留关键垂直线令牌和局部窗口在高精度下，同时量化其余部分，从而改进低比特LLM注意力量化，以低开销维持准确性。
本文是30天推断系列的一部分，解释了Transformer架构及其核心组件如自注意力和多头注意力，以及它在现代人工智能中的重要性。
本文介绍了一种基于因果图的注意力机制，以提升检索增强生成（RAG）系统中的检索精度，并在专有知识库的关键词填充机制中显示改进。
本文描述了临床LLM应用中电子健康记录处理的‘中间丢失’效应，并引入查询条件临床抑制（QCCS）来缓解该效应，展示了相比现有检索方法的准确性提升。
通过手动计算注意力加权和前馈网络，逐步讲解Transformer架构的核心组件，以说明Transformer的工作原理。
本文介绍了Asymmetric Attention Heads (AAH)，一个为transformer中的注意力头分配不同上下文窗口的框架，实验表明语言建模性能得到提升。
WhiteMatter通过KV混合在Transformers中引入全对全跨层连接，在预训练实验中减少内存占用并提升性能，相比于标准架构。
提出 Fractional Decay KV-Cache (FD-KVC)，一种用于对话系统的所有权感知内存管理算法，该算法使用双通道评分来提升推理相关性，在复合指标上优于 H2O +6.7%，并能更快适应话题变化。