Tag
AB-Attention提出一种免训练的块稀疏注意力方法，通过块内聚类选择、包含概率加权采样和细粒度核收集来近似稠密注意力，在Wan2.1和HunyuanVideo上跳过89-92%注意力计算，同时PSNR提升最高4.4dB，端到端加速最高2.23倍。
该论文研究了扩散大语言模型作为投机解码草稿模型时的两个关键参数——扩散努力程度与接受准则宽松度——的联合变化，发现二者协同调整能够超越单步扩散草稿方法的速度-质量帕累托前沿。
EAGLE-4 发布：新一代投机解码草稿模型与 eagle-harness 工具包，可跨批量大小、硬件和工作负载自适应加速 LLM 推理，速度超过 DFlash2 与 DSpark，支持 SGLang、vLLM 和 TokenSpeed 引擎。
ProVe reverses speculative decoding roles by fine-tuning a large model to propose token blocks verified by a smaller or identical model, achieving up to 2.7x throughput with adjustable speed-accuracy tradeoffs across six benchmarks.
Specter 提出了一种通过量化实现的多步推测性专家卸载方法，在单 GPU 上加速 MoE 推理，相比最先进系统平均获得 1.50 倍（最高 1.88 倍）的 TPOT 加速。
提出 CADENCE（Context-Adaptive Decoding）方法，通过高斯预测头与学习式路由自适应选择每次解码的跨度长度，在 Llama-3.1-8B-Instruct 上实现最高 1.3× 的生成吞吐提升。
The paper introduces SPOT, a 0.62M-parameter drafter that predicts token commit order for diffusion language models, enabling lossless tree-based speculative decoding with coupled-noise match verification that cuts target passes by up to 6.8x and boosts throughput up to 3.2x across six DLMs.
SpecKCast 是一种免训练的扩散 Transformer 推理加速方法，在频域中用逐频带 Kalman 滤波器预测模型输出并自适应调度去噪步，在 FLUX.1-dev、Qwen-Image、Wan2.1-14B 和 HunyuanVideo 上最高实现 6 倍加速，额外内存开销不足 0.05 GiB。
CacheScope 提出一种训练无关的扩散模型推理加速方法，通过归一化浅层探测变化信号在线识别高风险缓存步骤并回退到精确计算，在 FLUX.1-dev、Wan2.1 和 Open-Sora 上实现最高 3.57 倍加速及 LPIPS 中位数降低 70.1%。
该论文提出CARE，一种针对视觉-语言-动作（VLA）模型推理加速的认证选择框架，通过配对回放和序贯测试，在95%置信度下保证加速-induced失败风险低于用户设定预算，同时在LIBERO基准上实现9.0–10.8倍加速。
DScout 通过将扩散草稿器的训练与推理分解为前缀接受度和延迟权衡，提升了推测解码的吞吐量，在 Qwen3-4B 和 Qwen3-8B 上分别实现 3.84 倍和 4.14 倍的平均加速。
SpecFold 论文提出一种算法-系统协同设计，通过识别并折叠多分支投机验证中的计算冗余（token级残差门控与折叠注意力/FFN复用），在扩散大语言模型上实现最高1.64x吞吐提升（相比Spiffy），且保持任务性能相当。
提出 MC-Sparse，一个免训练的元缓存稀疏注意力框架，通过分析稠密-稀疏注意力差距的三大来源，在视频与3D生成中实现最高2.32倍去噪加速且几乎无质量损失。
FastGuide 是一种自适应的并行与自回归混合解码方法，通过复用奖励模型反向传播计算、利用 KV 缓存和稀疏注意力重计算来加速扩散大语言模型的梯度奖励引导，在三个奖励基准上实现最高 4.4× 加速同时保持相近生成质量。
This paper introduces mentored decoding, a formal approach to lossy speculative decoding that improves inference speed in language models by allowing controlled divergence from the target model, connecting it to boosting theory and proving key properties for optimization.
Flash-dLLM is a training-free inference acceleration framework for diffusion LLMs that uses IO-aware KV caching and parallel decoding to achieve significant speedups and memory efficiency improvements.
This paper investigates the losslessness of Orthrus, a hybrid autoregressive-diffusion model for inference acceleration, finding that it requires high numerical precision (FP32) for exact trajectory matching, while BF16 divergence does not impair downstream performance.
GeoSPRINT is a training-free framework that detects geometrically redundant steps in diffusion trajectories using hyperplanarity tests to optimize sampling schedules, improving inference efficiency on models like Stable Diffusion v1.5 without retraining.
This paper proposes a Generalized Optimization Engine (GOE) to accelerate AI inference on resource-constrained edge devices by integrating various model compression techniques, demonstrating that the choice of compression method affects task accuracy for language models deployed on GPU-less CPUs.
This paper introduces a composite metric for quantization in small large language models that balances speed and quality by combining information retention and throughput gains, evaluated on models like Gemma 3 1B.