标签
DeepSeek V4 Flash在双GH200工作站上的详细基准测试，比较了SGLang和vLLM在1M上下文长度下使用DSpark投机解码的表现，发现SGLang更快，约为317 tok/s对比276 tok/s。
介绍了 OoO-Spec，一种通过小型辅助模型以无序方式计算语义槽位来加速 LLM 工具调用的方法，相比自回归解码实现了最高 5.34 倍的加速，并在多个目标和基准测试中超越了现有的草稿模型方法。
本文介绍了SparseSpec-L，一种用于长上下文LLM推理的无需训练的自推测解码框架，它使用动态稀疏化且可召回（recallable）的KV缓存，以及基于熵的推测长度控制器，相比自回归解码可实现高达2.79倍加速。
本文提出功能重构方法，将MHA/GQA检查点转换为投机解码的MLA草稿模型，直接优化注意力模块以保留令牌接受率。报告在涉及Llama/Qwen模型和多种转换方法的192种配置中持续改进。
本文分析了推测解码中的有损验证方案，将其分为基于截断的验证和协作验证两类，并指出了保持生成质量的陷阱和原则。
OpenAI 部署了 GPT-5.6 Sol，通过改进的 GPU 内核和推测解码，实现了 20% 的服务成本降低和 15% 以上的 token 生成效率提升。
最新版本的 llama.cpp 现在会自动为 draft-mtp 架构加载 MTP 张量，即使未启用推测解码，这可能会增加其 GGUF 文件中捆绑了 MTP 块的用户的显存使用量。
AngelSpec 提出了一个统一的训练与推理框架，用于推测解码，该框架联合优化自回归多 token 预测和块并行扩散草稿模型，以处理异构实际工作负载。在 Hy3 模型系列上的实验显示，相对于自回归解码，加速比高达 2.4 倍，并且吞吐量比 DFlash 高出 11.8%。
Kimi K3 是一个 2.8 万亿参数的多模态 MoE 模型，具有 100 万 token 的上下文窗口，现已获得 vLLM 的 day-0 支持。本指南详细介绍了 vLLM 如何服务于 K3 的新颖架构，包括 Kimi Delta Attention、Attention Residuals 以及推测解码，最高可达 370 tok/s。
Cohere Labs发布North-Mini-Code-1.0-eagle，这是一个用于推测解码的草稿模型，以加速代码生成。它采用三个密集transformer层，带有滑动窗口注意力机制，并兼容fp8/w4a4目标模型。
通过拉取请求向llama.cpp添加DSpark推测解码支持，提升推理性能。
PRESTO 提出了一种用于扩散推测解码的前缀对齐树状草稿生成框架，在专用扩散草稿模型上实现了高达 1.5 倍的加速，在自推测扩散大语言模型上实现了 1.12 倍的加速。
Qwen3.6-27B 模型在使用更大量化级别时，推测解码性能提升，推理效率增强。
介绍了ADSD，一种提示后缀攻击，通过迫使草稿模型提出目标模型不太可能接受的令牌，在推测性解码中引发接受崩溃，从而增加推理时间同时保持任务质量。
Baseten 详细介绍了如何为 GLM-5.2 构建最快的 API，其性能超过发布时的两倍，并推出了针对编码和智能体优化的低延迟 Fast 版本，同时计划进一步改进。
对llama.cpp中原生MTP推测解码的分析表明，像Qwen3.6-27B这样的密集模型获得了显著的加速（1.4倍至2.2倍），但在MoE架构上结果不尽人意，由于每步开销已经很低，收益微乎其微。
SonicSampler 提出了一套统一的Tile感知Triton内核，垂直融合了整个LLM采样流水线，支持动态的逐请求行为和推测性验证，相较于最先进的基线实现了高达16倍的加速。
oMLX 0.5.2 版本新增了实时菜单栏活动、重新组织的模型菜单、Bonsai 低位内核，以及通过自定义 Metal 内核和原生推测解码实现的性能提升，使其成为在 Mac 上运行 MLX 模型的最快方式。
详细基准测试：Unsloth的Qwen3.6-27B NVFP4模型在RTX 5090 GPU上的表现，显示MTP（多令牌预测）在短上下文的单次请求中能显著加速，但在批量并发或长上下文场景下则会带来不利影响。
DogukanUrker演示了在单张RTX 3060上使用推测解码和KV缓存拆分运行Gemma 4 12B，拥有完整262,144上下文，速度约100 tok/s，实现了接近满GPU利用率且无需CPU卸载。