@no_stp_on_snek: 首批体验：triattention v3 在长上下文中安全驱逐，✓命中每个层级 32k → 256k 在 qwen3.5-2b-4bit (混合 mamba…
摘要
介绍了 triattention v3，一种新的注意力机制，能够在长上下文推理中实现安全驱逐且不丢失召回，并在混合 mamba+attention 模型上演示了高达 256k 令牌的效果。
相似文章
@no_stp_on_snek: vllm-swift 0.6.3 和 longctx 0.3.2 已发布。亮点：triattentionv3 + longctx rescue path 在 Apple Silicon 上达到 256K NIAH…
vllm-swift 0.6.3 和 longctx 0.3.2 版本带来了 triattentionv3，在 Apple Silicon 上支持 256K 上下文；Gemma 4 MTP drafter 支持；带有自动恢复的 Hermes tool calling；以及用于扩展到 12M token 语料的 longctx-svc 守护进程。
@VukRosic99: 长上下文Transformer面临两大瓶颈：二次注意力计算和KV缓存（在1M tokens时可达数百GB）…
MiniCPM-SALA是一款9B参数的混合注意力模型，通过在稀疏注意力和线性注意力之间交替插入（每3个线性层插入1个稀疏层）来克服长上下文Transformer的二次计算和KV缓存瓶颈。在256K tokens下，其推理速度比Qwen3-8B快3.5倍，并能在消费级GPU上支持高达1M tokens。该模型采用经济高效的持续训练方法，训练成本降低约75%。
QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding
This paper introduces QEvict, a KV-cache management scheme for LLMs that uses recoverable quantized eviction to handle attention drift during long-context decoding, improving memory efficiency while preserving important historical context.
基于顿悟感知的KV缓存淘汰方法（无需注意力矩阵）
本文介绍了EpiKV，一种基于内部表征变化（顿悟分数）而非注意力权重来评估token重要性的KV缓存淘汰方法，无需具体化注意力矩阵。该方法在推理基准测试中取得了具有竞争力的性能，同时支持长达16倍的上下文长度。
@no_stp_on_snek: 长上下文实验的小更新：我在单个 MI300X droplet 上使用开源栈成功将 MRCR v2 运行到 1M 上下文长度。
作者报告成功在单个 MI300X 上使用 Qwen2.5-32B 和 FAISS 运行 MRCR v2，实现 1M 上下文长度，并以低成本获得有竞争力的分数。