标签
RestoreKV 引入了一种学习式恢复机制，作为查询无关 KV 缓存驱逐的补充；它通过一次 LoRA 适配的遍历生成紧凑的上下文条件恢复缓存，从而在激进预算下恢复全缓存行为，并在四个长上下文基准上提升了性能。
掩码蒸馏是一种知识蒸馏框架，它训练学生大语言模型仅预测解决方案令牌，同时推理教师提供反馈，旨在将思维链计算内化到模型参数中。该方法显示任务相关的成功，在GSM8K上有效，但对于像Countdown这样更困难的任务需要小型脚手架。
介绍了ADSD，一种提示后缀攻击，通过迫使草稿模型提出目标模型不太可能接受的令牌，在推测性解码中引发接受崩溃，从而增加推理时间同时保持任务质量。
MiniCache 是一个程序缓存框架，通过参数化思维程序（Program-of-Thought）来复用相似请求间的计算，使用小模型进行语义变量提取和推测性草拟，从而提高大语言模型推理效率。
Echo是一个系统，通过高效地在开放权重模型间分配推理任务，以三分之一的成本达到与Fable模型相当的性能。它提供免费额度，且无需信用卡。
SelKV 是一个无需训练的 KV 缓存压缩框架，它使用软余弦门进行选择性合并，并通过注意力比例补偿机制纠正 softmax 不平衡，在仅保留 25% 缓存大小的情况下实现近乎无损的生成，在 LongBench 上取得 3.3 倍解码加速。
提出 AdaLook，一种适用于掩码扩散语言模型的自适应多步前瞻解码框架，该框架根据候选分数方差动态确定展开深度和分支扩展，与现有的单步前瞻解码方法相比，实现了更好的准确率-解码步骤权衡。
本文提出EcoSpec，一种针对混合专家模型的成本感知推测解码框架，在草稿选择阶段考虑了专家激活成本。通过在无需修改目标模型验证规则的情况下减少专家足迹，该方法在DeepSeek-V3.1、Qwen3-235B-A22B和GPT-OSS-120B等大规模MoE模型上实现了高达1.62倍的加速。
本文提出了一种召回控制的中止级联方法，通过在LLM代理的内部表示上使用轻量级探针，早期检测并中止注定失败的任务轮次，在保持高召回率成功轮次的同时，最多可节省47%的推理计算量。
本文指出了扩散LLM解码方法中的评估不一致性，表明提示模板的选择会显著影响排名，并提出了可靠评估的实用指南。
BlockPilot 提出了一种实例自适应策略，用于预测基于扩散的投机解码的最优块大小，从而以最小的开销实现显著的加速。
本文介绍了 LatentMAS，一种用于多智能体系统的无需训练框架，使大语言模型智能体能够通过共享潜在工作记忆在连续潜在空间中直接协作，实现了高达 14.6% 的准确率提升和 4 倍的推理速度提升，同时将 Token 使用量减少超过 70%。
提出了ReLAR，一种强化引导的潜在细化框架，在解码前迭代更新LLM中的隐藏表示，与思维链方法相比，提高了推理可靠性和效率。
本文提出，Transformer中的KV缓存充当了记忆化结论的笔记本，使得无需完全重计算即可进行精确编辑和组合。该方法在保持跨模型规模决策等价性的同时，实现了显著的延迟降低。
PolyKV是一种逐层的KV缓存压缩框架，为每一层分配异构的驱逐策略和非均匀的预算，在LongBench上使用LLaMA-3.1-8B和Qwen3-8B相比统一基线有显著提升。
介绍了Code2LoRA，一个将整个代码仓库转换为用于代码LLM的LoRA适配器的超网络，消除了推理时仓库级知识的令牌开销。
TimeRouter 提出了一种高效的时间序列基础模型路由框架，利用轻量级判别路由和选择性门控，无需大型语言模型（LLM）开销即可自适应选择最佳专家模型，在 GIFT-EVAL 排行榜上达到了最先进水平。
一条推文批评了当前LLM架构因依赖顺序的上下文而导致浪费的重计算，并提出将上下文单元分开编码，以实现与顺序无关的高效缓存和生成。
IDPR是一个用于响应条件抑制性深思的框架，它首先生成快速的直观答案，然后使用一个抑制控制器来决定是否调用慢速推理，在保持准确性的同时实现效率提升。
LazyAttention 提出了一种新颖的注意力机制，通过延迟位置编码来实现跨多个请求的零拷贝、位置无关的 KV 缓存复用。在文档分布倾斜的 RAG 场景下，该方法与 Block-Attention 相比，首 token 生成时间缩短至原来的 1/1.37×，推理吞吐量提升 1.40×。