标签
AB-Attention提出一种免训练的块稀疏注意力方法，通过块内聚类选择、包含概率加权采样和细粒度核收集来近似稠密注意力，在Wan2.1和HunyuanVideo上跳过89-92%注意力计算，同时PSNR提升最高4.4dB，端到端加速最高2.23倍。
该论文研究了扩散大语言模型作为投机解码草稿模型时的两个关键参数——扩散努力程度与接受准则宽松度——的联合变化，发现二者协同调整能够超越单步扩散草稿方法的速度-质量帕累托前沿。
EAGLE-4 发布：新一代投机解码草稿模型与 eagle-harness 工具包，可跨批量大小、硬件和工作负载自适应加速 LLM 推理，速度超过 DFlash2 与 DSpark，支持 SGLang、vLLM 和 TokenSpeed 引擎。
ProVe 通过微调大模型作为提议者，生成由较小或同规模模型验证的 token 块，反转了投机解码的角色，在六个基准上实现了最高 2.7 倍的吞吐量，并提供可调节的速度-精度权衡。
Specter 提出了一种通过量化实现的多步推测性专家卸载方法，在单 GPU 上加速 MoE 推理，相比最先进系统平均获得 1.50 倍（最高 1.88 倍）的 TPOT 加速。
提出 CADENCE（Context-Adaptive Decoding，上下文自适应解码）方法，通过高斯预测头与学习式路由自适应选择每次解码的跨度长度，在 Llama-3.1-8B-Instruct 上实现最高 1.3× 的生成吞吐提升。
论文提出SPOT，一个0.62M参数的草稿模型，用于预测扩散语言模型的token提交顺序，实现无损的树式投机解码，并通过耦合噪声匹配验证将目标模型的前向次数最多减少6.8倍，在六个DLM上将吞吐量提升最高达3.2倍。
SpecKCast 是一种免训练的扩散 Transformer 推理加速方法，在频域中用逐频带 Kalman 滤波器预测模型输出并自适应调度去噪步，在 FLUX.1-dev、Qwen-Image、Wan2.1-14B 和 HunyuanVideo 上最高实现 6 倍加速，额外内存开销不足 0.05 GiB。
CacheScope 提出一种无需训练的扩散模型推理加速方法，通过归一化浅层探测变化信号，在线识别高风险缓存步骤并回退到精确计算，在 FLUX.1-dev、Wan2.1 和 Open-Sora 上实现最高 3.57 倍加速，并使 LPIPS 中位数降低 70.1%。
该论文提出CARE，一种针对视觉-语言-动作（VLA）模型推理加速的认证选择框架，通过配对回放和序贯测试，在95%置信度下保证加速所引入的失败风险低于用户设定的预算，同时在LIBERO基准上实现了9.0–10.8倍的加速。
DScout 将扩散草稿器的训练与推理分解为前缀接受度和延迟权衡两个维度，从而提升推测解码的吞吐量，在 Qwen3-4B 和 Qwen3-8B 上分别实现了 3.84 倍和 4.14 倍的平均加速。
SpecFold 论文提出一种算法-系统协同设计，通过识别并折叠多分支投机验证中的计算冗余（token级残差门控与折叠注意力/FFN复用），在扩散大语言模型上实现最高1.64x吞吐提升（相比Spiffy），且保持任务性能相当。
提出 MC-Sparse，一个免训练的元缓存稀疏注意力框架，通过分析稠密-稀疏注意力差距的三大来源，在视频与3D生成中实现最高2.32倍去噪加速且几乎无质量损失。
FastGuide 是一种自适应的并行与自回归混合解码方法，通过复用奖励模型反向传播计算、利用 KV 缓存和稀疏注意力重计算来加速扩散大语言模型的梯度奖励引导，在三个奖励基准上实现最高 4.4× 加速同时保持相近生成质量。
本文介绍了mentored decoding，这是一种有损推测解码的正式方法，通过允许与目标模型的受控偏差来提高语言模型的推理速度，将其与提升理论联系起来，并证明了优化的关键性质。
Flash-dLLM是一个用于扩散LLMs的免训练推理加速框架，它通过IO感知的KV缓存和并行解码来实现显著的加速和内存效率提升。
本文研究了Orthrus的无损性，Orthrus是一种用于推理加速的混合自回归-扩散模型，发现其需要高数值精度（FP32）来实现精确轨迹匹配，而BF16精度偏差并不影响下游性能。
GeoSPRINT是一个无训练框架，它使用超平面性测试检测扩散轨迹中的几何冗余步骤，以优化采样调度，从而在不重新训练的情况下提高Stable Diffusion v1.5等模型的推理效率。
本文提出一种通用优化引擎（GOE），通过整合多种模型压缩技术，加速资源受限边缘设备上的AI推理，并证明压缩方法的选择影响部署在无GPU的CPU上的语言模型的任务准确性。
本文提出了一种针对小型大型语言模型量化的一体化度量标准，通过结合信息保留和吞吐量增益来平衡速度和质量，并在如Gemma 3 1B等模型上进行了评估。