标签
PGD-NO是一种预计算几何分解的神经算子，能够实现线性内存可扩展性，从而在超过1000万个节点的网格上实现高保真物理模拟，并克服单节点内存瓶颈。
DepthWeave-KV 是一种令牌自适应跨层残差分解方法，用于在长上下文Transformer推理中压缩KV缓存。该方法在64K上下文下实现8.3倍内存缩减和72.8令牌/秒的吞吐量，同时在各项基准测试中保持了接近完整缓存的任务质量。
提出FreqDepthKV，一种用于长上下文LLM推理中KV缓存压缩的频率引导深度共享方法。该方法将相邻层的KV状态分解为共享的低频成分和稀疏的高频残差，在保证基准测试精度的同时提升内存效率和吞吐量。
技术专家讨论内存效率即将迎来的重大突破，提及DeepSeek通过KV缓存优化已将缓存命中输入价格降至未命中价格的1/10到1/50，并透露OpenAI工程师利用多项优化技术将推理成本削减一半以上。
ClickHouse Cloud 宣布推出 WAL-RUS，这是一个开源的、使用 Rust 重写的 WAL-G PostgreSQL 备份工具，专注于可预测的内存使用和 WAL-G 兼容性。
SHAPE提出了一种面向稀疏MoE大语言模型的联盟感知专家剪枝框架，该框架利用路由轨迹上的Shapley式归因来识别关键专家，在20-40%剪枝率下实现了有竞争力的准确率，并降低了GPU内存占用。
微软研究院推出Mirage，一种潜在空间记忆，直接将3D场景存储为潜在标记，实现视频生成速度提升高达10.57倍，内存使用降低55倍，并达到最先进的一致性。
提出在DeepSeek-V4上结合神经记忆索引器的前瞻稀疏注意力，将GPU内存使用降至全上下文基线的约13.5%，同时保持或略微提升准确率。
一个开源仓库proveKV展示了一种可复现的KV缓存压缩技术，在SmolLM2-1.7B上实现了36倍无损（vs f32）和68倍有损内存减少，且PPL回归为零，包括Rust示例和审计管道。
本文提出了dMoE，一种用于扩散大语言模型的块级混合专家框架，该框架将词元级专家分布聚合成块级路由，在保持性能的同时减少激活的专家数量和内存使用。
Sakana AI 提出了 DiffusionBlocks，一种通过将前向传播解释为扩散去噪来分块训练神经网络的方法，与传统端到端反向传播相比，显著降低了内存需求。
本文提出了一种对基于Shampoo的优化方法（如KL-Shampoo和SOAP）中预条件器的重新参数化，以支持BFloat16存储，并通过在子空间中仅通过QR分解更新部分基来减少计算开销，从而使这些方法在内存和时间上更高效。
本文指出，在分块自回归视频扩散的KV缓存压缩中，对键进行量化会导致注意力权重出现偏差，并提出了一种每注意力分数校正方法，该方法以可忽略的开销消除偏差，在INT2量化下恢复接近BF16的视频质量。
CONF-KV 是一种KV缓存管理系统，利用模型不确定性动态调整缓存保留策略，从而提升长上下文大语言模型推理的内存效率，同时将困惑度控制在1.5-2.1个点以内。
提出了自剪枝键值注意力（SP-KV），一种通过学习预测键值对未来效用的机制，动态剪枝KV缓存，将内存使用和解码速度提升3-10倍，且性能下降极小。模型和效用预测器通过下一词元预测进行端到端联合训练。
本文介绍了一种固定契约诊断工具，用于分析KV缓存压缩方法在长上下文LLM推理中成功或失败的原因。文章确定了三种故障模式——遗漏证据、对无关token进行评分以及破坏相关证据——并在LongBench和NeedleBench上对这些模式进行了评估。
本文介绍了 ReST-KV，一种用于大型语言模型的新型鲁棒 KV Cache 驱逐方法。该方法利用逐层输出重构与时空平滑技术来提升效率，显著降低了解码延迟，并在 LongBench 和 RULER 等长上下文基准测试中超越了现有的最先进基线模型。
本文提出了阴影掩码蒸馏（SMD），旨在解决大语言模型在强化学习后训练中因 KV 缓存压缩而导致的离策略偏差。该方法引入了一种机制，确保在策略上的对齐，并提高长上下文推理任务的内存效率。
OjaKV 引入了一种上下文感知的在线低秩KV缓存压缩框架，该框架利用混合存储策略和Oja算法进行增量子空间自适应，以减少长上下文大语言模型推理中的GPU内存瓶颈，且无需模型微调。
Ulysses 序列并行是一种用于训练具有百万Token上下文的大语言模型的技术，通过将序列块分布在多个GPU上来降低内存需求，实现高效的长上下文训练。它与HuggingFace Accelerate、Transformers Trainer和TRL集成，支持Flash Attention和DeepSpeed ZeRO。