speculative-decoding

MiniMax-M3.1-Flash 是一个原生多模态混合专家（MoE）模型，约 428B 总参数（每 token 激活 23B），支持文本、图像和视频输入及 1M 上下文窗口，面向编码、智能体工作流、计算机使用和网络安全任务，并通过稀疏注意力、量化感知训练和 DSpark 投机解码提升推理效率。

研究人员提出 ORL（On-Policy Residual Learning）与自研推理引擎 dlmrt，使扩散语言模型在单张 RTX 5090 上达到 2,788 tokens/s，8×B200 上达 7,708 tokens/s，端到端吞吐提升最高 6.9 倍且质量不降，模型、训练代码与推理引擎全部开源。

llama.cpp v0.7.0 released with support for Qwen3.8-Flash-Next GGUF models via MTP-based speculative decoding on 128GB Mac/Spark setups, showcasing efficient local LLM serving.

该论文论证冻结的短上下文草稿模型无需重新训练即可用于超长上下文的推测解码，通过限制注意力缓存和重置旋转位置编码两种推理时机制，使其速度优势在长达两百万 token 的上下文中保持稳定。

DLite提出一种无历史上下文的投机解码框架，通过复用目标模型的隐状态进行局部预测并省去历史KV缓存维护，在agentic工作负载下将接受长度提升至2-6，较SOTA方法DSpark提升最高70%。

作者通过修补 llama.cpp，在 2x RTX 4060 张量并行基础上把 DFlash2 草稿模型经 RPC 卸载到 AMD Strix 设备，实现混合 Nvidia+AMD 硬件下上下文从 150k 提升到 195k 且不损失性能，并附上了可复现的构建补丁与 PR 合并步骤。

NVIDIA released the Nemotron 3.5 Super VL 120B-A12B model family — a 120B-total/12B-active vision-language model with Mamba-2/MoE hybrid architecture, C-RADIO vision encoder, 1M-token context, and native speculative decoding via MTP — available in BF16, NVFP4, and other variants under the OpenMDW-1.1 license.

A developer boosted Qwen3.8-27B throughput from 82 to 381 tokens/sec on a single RTX 3090 using MTP, DFlash2 speculative decoding, context lookup, and prefix caching — no hardware upgrade needed. Ordinary chat performance still sits around 133 tokens/sec, highlighting that peak numbers come from reuse-heavy workloads.

SpecAgent 提出一种协作协议，让弱模型起草并执行只读工具调用，强模型通过单次 prefill 并行验证并修复，在 τ²-Bench 上几乎保持强模型成功率的同时将延迟与内存流量减半。

Speculative Forcing 通过将中间 clean estimates 视为草稿并提前接受 token、跳过不必要的去噪步骤，加速少步自回归视频生成，在 LongLive 上以约 1.7 步/ token 匹配四步生成器质量，速度提升超过 1.5 倍。

tqLLM 是一个 C++/CUDA 本地 LLM 推理引擎，支持 OpenAI 兼容 API 与 TurboQuant GGUF 权重，在 RTX 3090 和 RTX 5060 Ti 上实现 240+ tok/s 的解码速度、200K+ 长上下文以及不改变输出的投机解码。

ggerganov 在 llama.cpp 仓库提交 PR #30459，为 common 新增 --spec-draft-n-ubatch 选项，用于调整推测解码的 draft micro-batch 大小。

作者将 Ternary Bonsai 2 27B 量化模型迁移到 Apple Neural Engine，在 16GB M6 Mac mini 上实现约 52 tokens/s 的代码生成速度，整机功耗仅约 12W，显著优于 GPU 方案。项目基于 ANEMLL Forge 提供转换脚本、运行时补丁和 OpenAI 兼容接口，并已适配 Grok Build。

ReaDy introduces a speculative decoding method that uses hybrid linear attention recurrent states as dynamic context for drafting, achieving a 3.16x decoding speedup over autoregressive generation with Qwen3.8-27B on an NVIDIA B200 while improving throughput and acceptance length over DSpark across seven benchmarks.

A user asks why Multi-Token Prediction (MTP) speculative decoding in llama.cpp yields lower throughput (~15 tok/s) than standard decode (~30 tok/s) for Ornith 1.5 9B, despite a high 0.95 draft acceptance rate, noting halved memory bandwidth and GPU utilization.

作者系统整理了本地部署模型的加速方案，包括在 macOS 上结合 Turbo、MLX、VAE Q8 和前缀 KV cache 让 Qwen-Image 2.1 提速近 5 倍，以及用 Uzu 的投机解码把 Qwen3.5-9B 从 22 tok/s 提升到 92 tok/s、用 TensorRT 让 Qwen 在 RTX 5090 上比 llama.cpp 快 3 倍等案例。

This paper proposes a principled framework for selecting decoder hidden-state layers in speculative decoding, using matrix-entropy analysis for informativeness and centered kernel alignment (CKA) for diversity, outperforming fixed heuristics in EAGLE3-style speculative decoding.

提出DCOCO（DFlash Contextual Corrector），一种轻量级机制，在保持并行草稿生成的同时恢复块内上下文依赖，在四个验证器骨干和十个基准上实现最高达6.6倍的推理加速，并在并发服务场景下显著优于现有方法。

一篇70分钟阅读量的深度技术长文，从第一性原理推导投机解码（speculative decoding），构建涵盖EAGLE-3、多token预测（MTP）以及块扩散drafters（DFlash、DSpark）的统一框架，并讨论drafter训练中最小化KL散度的问题。

这篇帖子通俗解释了投机解码（Speculative Decoding）的工作原理——草稿模型预测、目标模型并行验证并以概率方式接受或纠正——并介绍了开源引擎 Uzu，它在 Apple Silicon 上结合并行起草、连贯草稿路径与免回滚验证，使 4-bit Qwen3.5 9B 的推理速度从 llama.cpp 的 22 tokens/s 提升到 92–117 tokens/s。