标签
作者针对 Apple M3 Ultra 优化了 DeepSeek V4.1 Flash，使用 DSpark 推测解码实现了高达 40 t/s 的解码速度，同时保持了与上游模型字节级一致的准确性。
对Ling-3.0-flash的基准测试显示，在多令牌预测中，更高的接受长度会降低文本吞吐量，其中n=1是所评估工作负载中最高效的设置。
GLM-5.3 是一个与 GLM-5.2 架构相同的 AI 模型，通过训练取得了显著改进，现在可在 HF Viewer 中可视化，展示稀疏注意力和 MoE 路由等复杂功能。
一个量化的GGUF版本，基于Qwen3.8-27B模型，具有减少的拒绝行为，保留了多token预测，并提供多种量化选项以供llama.cpp使用。
有用户报告，对于 Gemma 4 31b，将 f16 MTP 草稿模型量化到 Q4_K（而不是默认的 Q4_0）在双 3090 上解码速度大约提升 10%（从 65 TPS 到 72 TPS），而 Q2_K 表现更差。
This paper introduces AdaMTP, an adaptive training paradigm for multi-token prediction that dynamically aligns prediction horizons with sequence predictability using entropy-based segmentation, consistently outperforming standard MTP on math, code, and general benchmarks across three LLM backbones.
AngelSpec 提出了一个统一的训练与推理框架，用于推测解码，该框架联合优化自回归多 token 预测和块并行扩散草稿模型，以处理异构实际工作负载。在 Hy3 模型系列上的实验显示，相对于自回归解码，加速比高达 2.4 倍，并且吞吐量比 DFlash 高出 11.8%。
一份通过调整n_max参数来优化MTP（多令牌预测）性能的指南，附带了多种模型（如Gemma-31b和Qwen）在P100和V100 GPU上的基准测试结果。
详细基准测试：Unsloth的Qwen3.6-27B NVFP4模型在RTX 5090 GPU上的表现，显示MTP（多令牌预测）在短上下文的单次请求中能显著加速，但在批量并发或长上下文场景下则会带来不利影响。
对谷歌 Gemma 4 技术报告的评论，指出他们通过量化感知训练（QAT）和多令牌预测（MTP）进行了激进的优化，以实现更快的推理。
一位用户报告称，在q6kxl量化与多token预测下，Qwen 27B在4090+3090系统上使用LCPP实现了50-90 token/s的解码速度和1500-2200 token/s的预填充速度，并指出它在各种编码任务中表现稳定、快速且连贯。
openPangu-2.0-Flash 是一个拥有920亿参数（其中60亿激活参数）的MoE模型，基于昇腾训练，支持512k上下文长度并具备快速思考能力。它在推理和编码基准测试上表现强劲，采用了MLA注意力及多令牌预测等架构创新。
Ollama 宣布，Gemma 4 在 Apple Silicon 上使用 MLX 后速度提升近 90%，这得益于默认启用的改进多 token 预测机制，并支持自动调节以避免减速。
提出EntMTP，一种无需训练的调度器，基于局部熵估计自适应调整树形注意力拓扑以进行投机解码，相较于Hydra实现1.09-1.15倍加速，相较于Medusa最高达1.36倍加速。
谷歌研究院推出了一种新架构，使用冻结的Multi-Token Prediction在Pixel设备上加速Gemini Nano模型，显著提升了设备端AI特性的速度和能效。
本文探讨了量化是否会影响多token预测模型中的草案率，并分析了模型压缩与推理效率之间的潜在权衡。
一个交互式指南，解释了大语言模型中的推测解码和多令牌预测，涵盖了从拒绝采样到Qwen 3.6和Gemma 4中使用的MTP等技术，配有实时图表和滑块。
用户报告称，Qwen 3.6 和 Gemma 4 的 MTP 版本在代码审查任务中的输出质量低于非 MTP 版本，尽管其 token 生成速率更高，但实际速度提升微乎其微。
GLM-5.2采用了MTP（Multi-Token Prediction）技术加速推理，并修复了GLM-5.1中MTP训练推理不一致导致的KV cache混用问题。
SuperThoughts 将连续的思维链令牌压缩为潜在表示，并每步解码两个令牌，在数学推理基准上实现了约20-30%的思维链长度缩减，准确率损失极小，同时将推理吞吐量提高了一倍。