标签
本文提出了一种面向N:M稀疏视觉Transformer推理的软硬件协同设计框架，通过一种新颖的CUDA内核（MD-SpMM）和部署感知的稀疏性搜索，在保持准确性的同时，在GPU上实现了超过2.2倍的延迟加速。
提出渐进式树形草稿（PTD），一种免训练、模型无关的推测解码方法，利用渐进式树结构和逐步剪枝实现多个草稿路径的并行生成，在各种基准测试上实现高达2倍的加速。
本文介绍了一种针对大语言模型的自监督早期退出方法，允许在置信度较高时在中间层提前停止计算，从而降低推理成本。此外，还提出了动态自推测解码（DSSD），相比现有基线实现了更高的令牌接受率。
一种针对 Qwen 模型的最快推测解码的新实现已可用，通过 Hugging Face 分支在 sglang 中得到支持，后续将在 uzu 引擎中获得支持。
Novita 发布了 Kimi-K2.6 DSpark，这是一个采用推测解码的推测模型，用于加速基础 Kimi-K2.6 模型的推理，实现了更高的令牌接受长度。
HunyuanOCR-1.5 是一款轻量级端到端OCR视觉语言模型，通过DFlash（推理速度提升6.37倍）提高效率，通过Agentic Data Flow增强能力，在文档解析、OCR和多语言任务上达到顶级性能。
DSpark 是一个推测解码框架，结合了半自回归草稿生成与置信度调度验证，以加速大语言模型推理，并在高并发场景下提升吞吐量。
介绍 Flex-Forcing，一个统一的训练和推理框架，通过灵活的时间与去噪步骤分块机制，使视频扩散模型能在双向和自回归两种模式下运行，实现更好的视频质量、长视频稳定性和更快的推理速度。
介绍了多令牌残差预测（MRP）技术，该技术通过预测相邻去噪步骤之间的残差来加速扩散语言模型推理，在 SGLang 中实现了最高 1.56 倍的速度提升，并在激进解码设置中恢复了最高 +16 的准确率点数。
A multi-agent system with over 100 agents collaborates for a week to accelerate Gemma 4 on vLLM by 5x, demonstrating emergent self-organized communication and resource pooling.
本文提出 Dynamic-dLLM，一种无训练框架，通过动态分配缓存更新预算和校准解码阈值来加速扩散大语言模型，在 LLaDA 和 Dream 等模型上实现超过 3 倍的加速，同时保持性能。
详细介绍了针对语音克隆模型的W4A4 CUDA内核优化，通过INT4量化和融合LoRA，实现了比FP16快2.6倍的推理速度。
周五，我们发布了六个用于加速推理的最新先进草稿模型，同时发布了一篇关于推测解码的博文，以及一个用于估算加速比的山脊线模型工具。
Charles Frye宣布与Z Lab共同发布六款新的DFlash推测器，用于阿里巴巴Qwen 3.x系列模型，在B200上为Qwen 3.5 122B-A10B实现了每秒超过1000个输出token。
Modal和Z Lab发布了六款新的DFlash推测解码草稿模型，用于Qwen 3.x，在B200上实现了每秒超过1000个token，并认为推测解码是最有影响力的推理优化。
GLM-5.2采用了MTP（Multi-Token Prediction）技术加速推理，并修复了GLM-5.1中MTP训练推理不一致导致的KV cache混用问题。
微软研究院提出Next-Latent Prediction (NextLat)方法，一种自监督学习方法，训练变换器预测自身下一个潜在状态，从而形成用于推理和规划的紧凑世界模型，并通过自推测解码实现高达3.3倍的推理加速。
Tensordyne 宣布了一项突破性推理系统，在硬件中使用对数数学，声称每瓦特令牌数比NVIDIA Blackwell多17倍，吞吐量高13倍，这是通过将对数空间中的复杂乘法替换为简单加法实现的。
DFlash，一个带有KV注入的块扩散起草器，现在正在前沿规模上运行，相比基线实现了高达4.3倍的吞吐量提升，集成了Modal和SGLang以用于Qwen 397B。
本文提出Prefilling-dLLM，一种无需训练的框架，它将前缀分割成块并缓存KV表示，在扩散语言模型的长上下文推理中实现了最先进的质量和高达28倍的加速。