标签
R²-dLLM 引入时空冗余削减技术，在保持生成质量的同时将扩散 LLM 的解码步数最多压缩 75%，直击部署瓶颈。
A tweet advocating that every AI researcher should understand inference acceleration and highlighting CUDA Graph as a core component of the vLLM server for GPU efficiency.
River-LLM 提出一种无需训练的 decoder-only 大模型早退框架，通过 KV 共享消除 KV-cache 缺口，在无损质量的前提下实现 1.71–2.16 倍推理加速。
SDVG 将投机解码引入自回归视频扩散，通过图像质量路由器在 MovieGenVideoBench 上实现最高 2.09× 加速，同时保留 95.7% 质量。
z-lab 发布 DFlash，一种基于轻量级块扩散模型的投机解码草稿器，可并行生成 15–16 个 token，为 Qwen3.6-35B-A3B 推理带来最高 2.9× 加速。
DFlash 是一种新的投机解码框架，它使用轻量级的块扩散模型进行并行标记起草，与自回归方法相比，实现了超过 6 倍的加速。在保持高输出质量的同时，其性能显著优于现有的最先进方法（如 EAGLE-3）。
NVIDIA Model Optimizer 是一个提供高级模型优化技术（如量化、剪枝和蒸馏）的库，用于加速AI模型，并集成到NVIDIA的生态系统中以便部署。