标签
将MTP推测解码引入采用FP8精度的Ornith 35B编码模型，实现了约18%的推断速度提升，且额外VRAM占用极少。
一份详细的基准测试，比较了单张 RTX 3090 上 Qwen 3.6 27B 的投机解码引擎，显示 ik_llama 在代码生成中达到约每秒 100 个 token。结果包括 5 种引擎变体的解码 TPS、TTFT、显存占用和上下文退化情况。
BlockPilot 提出了一种实例自适应策略，用于预测基于扩散的投机解码的最优块大小，从而以最小的开销实现显著的加速。
DeepSeek开源了DSpark，这是一个采用MIT许可证的框架，利用推测解码技术将LLM推理速度提升高达85%，支持包括自家DeepSeek-V4、阿里巴巴Qwen和谷歌Gemma在内的多个模型系列。
DeepSeek提出DSpark技术，通过在Final RMSNorm后插入微型Transformer实现推测性解码，将大模型输出速度提升60%-85%。
分享在 llama.cpp 中使用 dflash 投机解码的新方案，在单张 RTX 3090 上结合 Qwen3.6-27B GGUF 和草稿模型达到约 70 TPS。
在 llama-server 中，Ornith 35B 与 Qwen3.6 35B DFlash 推测模型搭配使用时，token 生成速度提升了 30-40%，在混合代码和文本上实现了 80% 的接受率，但提示处理性能有所下降。
Yong Quan 强调，更好的推测解码器可以在 LLM 推理中实现近乎线性的吞吐量提升，该观点由 Charles 在 Modal 研讨会上提出。
提出EntMTP，一种无需训练的调度器，基于局部熵估计自适应调整树形注意力拓扑以进行投机解码，相较于Hydra实现1.09-1.15倍加速，相较于Medusa最高达1.36倍加速。
谷歌研究院推出了一种新架构，使用冻结的Multi-Token Prediction在Pixel设备上加速Gemini Nano模型，显著提升了设备端AI特性的速度和能效。
DSpark 的进展更新：DFlash 骨干网络和马尔可夫头的训练已完成，可在 27B 上使用。接下来将训练置信度头以实现自适应草稿生成，预计比 DFlash 加速 8-14%。
Ornith-1.0-35B GGUF 模型更新引入了原生 MTP 推测解码嫁接，可在单 GPU 上实现更快推理，解码速度提升约 1.3-1.35 倍，同时保持几乎相同的 token 分布。提供了多个量化版本的吞吐量、TTFT 和长上下文性能的基准数据。
OpenInfer，一个纯粹的Rust+CUDA LLM推理引擎，快速添加了对DeepSeek的DSpark投机解码技术在RTX 5090上的支持，实现了每个用户近500 tok/s，并扩展至约2.4K聚合tok/s，在非随机工作负载上优于DFlash。
DeepSeek AI 在 Hugging Face 上发布了 DeepSpec 集合，包含基于 Qwen3 和 Gemma4 的各种尺寸（1B-3B）的推测解码模型（dspark, dflash, eagle3）。
来自 DeepSeek AI 的 DSpark 集成了投机解码思路，在生产系统中实现 1.5 到 5 倍的吞吐量提升。本推文从基础开始讲解了 10 个关键思路。
DeepSeek 开源了 DeepSpec，一个用于训练和评估推测解码模型的完整技术栈代码库。
DeepSeek 发布了一篇论文以及采用MIT许可证的开源实现（DSpark），通过使用小型“猜测”模型和大型“检查”模型，将LLM响应速度提升高达80%，同时兼顾速度与准确率，无需权衡取舍。
DeepSeek 开源了 DeepSpec，这是一个用于训练和评估推测解码草稿模型的全栈代码库，可实现 60-85% 的生成速度提升。它包含数据准备、训练和评估脚本，支持多种草稿模型算法（DSpark、DFlash、Eagle3）。
DeepSeek发布了DSpark，一种投机解码方法，可将V4 Flash和Pro的吞吐量提升51%至400%，同时还开源了DeepSpec代码库，用于训练和评估草稿模型。
DeepSeek 发布了其 V4 系列的预览版本，包括 DeepSeek-V4-Pro（1.6T 参数，49B 激活）和 DeepSeek-V4-Flash（284B 参数，13B 激活），两者均支持百万 Token 上下文，并采用混合注意力、流形约束超连接和 Muon 优化器。