@no_stp_on_snek: 首批体验：triattention v3 在长上下文中安全驱逐，✓命中每个层级 32k → 256k 在 qwen3.5-2b-4bit (混合 mamba…

X AI KOLs Following 论文
long-context attention mamba eviction triattention inference

摘要

介绍了 triattention v3，一种新的注意力机制，能够在长上下文推理中实现安全驱逐且不丢失召回，并在混合 mamba+attention 模型上演示了高达 256k 令牌的效果。

首批体验：triattention v3 在长上下文中安全驱逐。✓命中每个层级 32k → 256k 在 qwen3.5-2b-4bit (混合 mamba+attention)。单独使用 triattention 错过每个层级。无召回损失的驱逐是长上下文推理中的新原语。
查看原文

相似文章

基于顿悟感知的KV缓存淘汰方法（无需注意力矩阵）

arXiv cs.LG

本文介绍了EpiKV，一种基于内部表征变化（顿悟分数）而非注意力权重来评估token重要性的KV缓存淘汰方法，无需具体化注意力矩阵。该方法在推理基准测试中取得了具有竞争力的性能，同时支持长达16倍的上下文长度。