标签
Bebop 提出了熵感知的多 token 预测，结合拒绝采样和一种新的 TV 损失，以加速 LLM 的 RL 训练，实现最高 1.8 倍的加速。该方法通过优化训练目标，解决了 RL 训练中接受率下降的问题。
打包双推理（PTI）是一种通过单批解码中运行多个token序列来实现约2倍LLM吞吐量的技术，它利用了llama.cpp中的权重共享，无需草稿模型或额外VRAM。
Next Forcing 提出了一种用于因果世界建模的多块预测框架，可加速自回归视频生成的训练和推理，同时提高准确性和对物理规律的遵循程度。
TBD-VLA 提出了一种离散的视觉-语言-动作框架，结合了块扩散与自回归生成，以实现高效的时序动作建模和更快的推理速度，在仿真和真实世界的操作任务中显著优于之前的 VLA 方法。
RhymeFlow通过跨帧解耦去噪轨迹来加速视频生成的扩散变换器，利用关键帧锚定和潜在轨迹投影减少计算开销，同时保持视觉质量。
本文介绍了时空并行解码（TSPD）和置信度外推（CE），通过动态判断令牌何时收敛并预测logit趋势，来加速基于扩散的大语言模型的推理，减少不必要的去噪步骤，同时保持输出质量。
Light Interaction 提出了一种用于交互式视频世界模型的无训练推理加速框架，采用自适应上下文管理、去噪缓存加速和3D块稀疏注意力，实现了高达2.59倍的速度提升，同时保持了有竞争力的视觉质量。
MicroSpec 是一种无需训练的技术，它能即时构建紧凑的上下文感知词汇表，以加速大型语言模型中的推测解码，将平均词汇表大小减少40倍以上，并相比EAGLE-2实现了高达1.32倍的端到端加速。
一种名为Zero-Expert Self-Distillation Adaptation (ZEDA)的新方法，允许像Qwen3和GLM这样的MoE模型在简单token上跳过一半的专家计算，而精度损失极小，通过添加输出为空的虚拟专家，实现约20%的推理加速。
PulseCol 提出了一种周期性刷新的列稀疏注意力方法，适用于扩散语言模型。该方法在保持模型质量的同时，实现了更高的稀疏度，并且相比 FlashAttention 获得了高达 1.95 倍的端到端加速。
NVIDIA Model Optimizer 是一个库，它使用量化、蒸馏、剪枝和推测解码等技术压缩深度学习模型以加速推理。它支持 Hugging Face、PyTorch 和 ONNX 模型，并与 NVIDIA 推理框架集成。
本文介绍了一种无需训练的框架——并行推测解码（PSD），它通过同时提升空间和时间效率来加速扩散大语言模型的推理，每次前向传递最多可处理5.5×的token数，且质量与贪婪解码相当。
Cider 是一个开源项目，专为 Apple Silicon Mac 设计，通过充分利用 M 系列芯片的算力来加速本地 AI 推理，适配 MLX 生态，支持 Qwen、Llama 等模型，安装简单。
Orthrus是一种双架构框架，融合了自回归LLM的保真度和扩散模型的速度，在Qwen3模型上实现高达7.8倍的加速，同时保证输出分布完全相同。
介绍Orthrus，一种在冻结的自回归Transformer中注入可训练的扩散注意力模块的方法，在MATH-500上实现高达7.8倍每前向传播token数和约6倍实际时间加速，且输出分布与基础Qwen3-8B模型可证明一致。该方法仅需极少的额外参数和训练，并避免了外部草稿模型带来的TTFT惩罚。
本文介绍了 LEAP，这是一种无需训练的方法，旨在通过检测早期收敛令牌来加速扩散语言模型（dLLMs）的推理过程。该方法能在不损失准确性的前提下，将去噪步骤减少 30%。
SlimSpec 为 drafter LM-head 引入了低秩参数化方法，以加速 LLMs 中的推测解码，在保持完整词表支持的同时实现了 4-5 倍加速。
研究人员提出了 DFlash，这是一种用块扩散模型替代自回归草稿模型的方法，在零精度损失的情况下实现了 8.5 倍的 LLM 推理加速。
DFlash 是一个用于投机解码的轻量级块扩散模型，现已支持 Qwen 和 Gemma 等各种大语言模型并投入生产环境使用。
Z-lab 发布了 DFlash，这是一种用于 Gemma-4-31B-it 的投机解码草稿模型，采用轻量级块扩散并行生成多个 token，相较于自回归基线实现了最高 5.8 倍的加速。