标签
JetBrains 发布了 Mellum2.1-12B-A2.5B-Thinking-MTP，这是一款拥有 120 亿参数（激活参数为 25 亿）的 MoE 思考型编程模型，配备多 token 预测头，用于在 vLLM 中进行推测解码。此次更新主要侧重于在真实代码仓库环境中进行强化学习后训练，以提升模型执行智能体软件工程任务的能力。
@NVIDIARTXSpark 分享了三种加速 NVIDIA DGX Spark 上混合专家模型（MoE）推理的技术，涵盖优化内核、FP8 量化和多 token 预测，以提升每秒 token 吞吐量。
Soft-MTP 提出一种 KL 梯度恢复技巧，去除多token预测训练中的噪声残差梯度，在无额外开销下改进困惑度、投机解码与推理能力。
论文提出了 Lafa，一个 8B 参数的分块连续流语言模型，仅使用不到 30B tokens 训练，其质量即可匹配甚至超越自回归模型，并通过自推测解码（self-speculative decoding）与分块并行解码实现了 2.54 倍的推理吞吐量。
ECHO通过自递归（Self-Recursion）和动态深度采样（Dynamic Depth Sampling）将多步预测直接集成到骨干网络中，从而提升预训练效率，并使模型无需辅助MTP模块即可充当自身的推理草稿模型。
提醒用户尝试 llama.cpp 中新合并的概率式 MTP（多 token 预测）功能，在散文生成场景下解码速度提升约 14%，最优 draft-n-max / draft-p-min 参数与贪心采样基本一致。
MTP 投机解码的草稿 LM head 原本每步都要读取 1.27 GB 的 BF16 权重，现改为 Q4_0 量化草稿头（验证与正常解码仍用 BF16），实现约 10.6% 的 token/s 提升，且 greedy 输出 md5 完全一致。相关改动已在 ROCmFPX 的 PR #49 中提交。
发布者声称该模型基于 Qwen3.8 27B，使用 390 万行代码数据进行专项微训，融合高效思考机制压缩推理长度，并经由 Opus5.5、GPT6Astra、Grok4.7、DSV4Pro 蒸馏对齐，配备 K3 kernel，再通过 SFT、RLOO 强化学习与 MTP 多词元预测三重训练，同时集成 DFlash2 注意力加速。
HyperZip 提出了一种高效的基于大语言模型的无损数据压缩框架。该框架利用基于扩散的大语言模型、Multi-Token Prediction（多词元预测）以及超网络，无需微调即可让模型适配目标数据，从而在压缩率与吞吐量之间实现了优于自回归基线的权衡。
作者针对 Apple M3 Ultra 优化了 DeepSeek V4.1 Flash，使用 DSpark 推测解码实现了高达 40 t/s 的解码速度，同时保持了与上游模型字节级一致的准确性。
对Ling-3.0-flash的基准测试显示，在多令牌预测中，更高的接受长度会降低文本吞吐量，其中n=1是所评估工作负载中最高效的设置。
GLM-5.3 是一个与 GLM-5.2 架构相同的 AI 模型，通过训练取得了显著改进，现在可在 HF Viewer 中可视化，展示稀疏注意力和 MoE 路由等复杂功能。
一个量化的GGUF版本，基于Qwen3.8-27B模型，具有减少的拒绝行为，保留了多token预测，并提供多种量化选项以供llama.cpp使用。
有用户报告，对于 Gemma 4 31b，将 f16 MTP 草稿模型量化到 Q4_K（而不是默认的 Q4_0）在双 3090 上解码速度大约提升 10%（从 65 TPS 到 72 TPS），而 Q2_K 表现更差。
This paper introduces AdaMTP, an adaptive training paradigm for multi-token prediction that dynamically aligns prediction horizons with sequence predictability using entropy-based segmentation, consistently outperforming standard MTP on math, code, and general benchmarks across three LLM backbones.
AngelSpec 提出了一个统一的训练与推理框架，用于推测解码，该框架联合优化自回归多 token 预测和块并行扩散草稿模型，以处理异构实际工作负载。在 Hy3 模型系列上的实验显示，相对于自回归解码，加速比高达 2.4 倍，并且吞吐量比 DFlash 高出 11.8%。
一份通过调整n_max参数来优化MTP（多令牌预测）性能的指南，附带了多种模型（如Gemma-31b和Qwen）在P100和V100 GPU上的基准测试结果。
详细基准测试：Unsloth的Qwen3.6-27B NVFP4模型在RTX 5090 GPU上的表现，显示MTP（多令牌预测）在短上下文的单次请求中能显著加速，但在批量并发或长上下文场景下则会带来不利影响。
对谷歌 Gemma 4 技术报告的评论，指出他们通过量化感知训练（QAT）和多令牌预测（MTP）进行了激进的优化，以实现更快的推理。
一位用户报告称，在q6kxl量化与多token预测下，Qwen 27B在4090+3090系统上使用LCPP实现了50-90 token/s的解码速度和1500-2200 token/s的预填充速度，并指出它在各种编码任务中表现稳定、快速且连贯。