标签
Cohere 的一篇新论文表明，投机解码在细粒度 MoE 模型上即使 batch size 为 1 也能良好运行，因为相邻 token 共享 20%–45% 的专家（而此前预期仅为 4%–12%），使得验证成本远低于此前工作的预测。该研究在 H100 上测试了 10 个 MoE 模型。
Meta 的最新 TextSeal2 论文表明，将两个密钥混合成一个虚拟密钥并加入噪声，可以让 AI 生成文本中的隐藏水印更容易被检测到，即使采用推测解码也是如此。在误报率为 0.1% 时，其检测率达到 89%，而 TextSeal 为 71%。
TraceSpec 是一个将 LLM 智能体轨迹评估与用于推测解码的自适应草稿模型训练相结合的框架，引入了 TraceSpec-Traj 语料库，并在多种模型规模下，相较于其 DSpark 基线将回放吞吐量提升了 12.5% 至 22.6%。
该论文在训练预算相同的条件下，比较了连续扩散语言模型（LangFlow）和推测式草稿模型（DSpark）作为独立生成器的表现，发现当序列较长时，LangFlow 在困惑度和 MAUVE 指标上表现更优，而当序列长度为 16 时，DSpark-RNN 领先，凸显了对整个序列进行迭代优化这一关键优势。
JetBrains 发布了 Mellum2.1-12B-A2.5B-Thinking-MTP，这是一款拥有 120 亿参数（激活参数为 25 亿）的 MoE 思考型编程模型，配备多 token 预测头，用于在 vLLM 中进行推测解码。此次更新主要侧重于在真实代码仓库环境中进行强化学习后训练，以提升模型执行智能体软件工程任务的能力。
开源 Apple Silicon 推理引擎 Kapitsa 0.2.26 公布了 Qwen、Nemotron、Flint 和 Clover 模型在 M5 Max 上的基准测试结果，展示了其 KFlash 最佳优先树验证技术和 SSD 卸载功能，可在配备 48GB 内存的 MacBook Pro 上以每秒 61 个 token 的速度运行 180B 参数的 MoE 模型。
一则公告建议用户在 llama.cpp 中对 Qwen3.8-Flash-Next 进行推测解码时，从 MTP 头升级到 DFlash 2 草稿模型，声称平均可提速约 17%，并推荐使用 Q4_0 量化，因为它的接受率和速度与 Q8_0 相当，同时可少用 287 MiB 内存。该卡片还详细介绍了 MTP 头与 DFlash 2 草稿模型在运行时内存占用方面的权衡，指出尽管草稿模型在磁盘上更小，但由于其计算缓冲区更大，运行时的内存占用大致相同。
TryMirai 开源了 uzu —— 一款 Apple Silicon 推理引擎，其核心特性是 Weaver + DFlash 投机解码，能让 9B 参数 LLM（Qwen3.5）在本地运行速度提升 4 倍，比标准投机解码快 2.6 倍。
Decagon 介绍了 AutoResearch 系统：由 AI agents 自动诊断推理瓶颈、在生产流量回放环境中验证优化（量化、调度、引擎补丁、投机解码等），报告端到端吞吐提升最高达 2.5x，且生产变更仍需人工审批。
一篇社区帖子，列出了对谷歌即将推出的 Gemma 5 的功能诉求，包括采用循环 Transformer 来增强推理能力、引入 DeepSeek 的 Engram 记忆机制、通过压缩稀疏注意力降低 KV 缓存成本、推出可能约有 1200 亿参数的 MoE 变体、改进草稿模型，以及让 Gemma 在编程基准测试之外也保持全面的能力。
Magnitude 是一个开源的 Rust LLM 推理引擎，能够根据你的本地硬件自动调优 GPU kernel，声称在 MacBook 上解码速度比 Ollama 快 2.7 倍，预填充速度快 1.6 倍，并支持一键集成到 Claude Code 和 Codex 等 agent 中。
普林斯顿大学与 Polymathic AI 推出 FlashMap，这是一种用于推测解码的连续流草稿模型，能够在一次前向传播中生成整个词元块，同时捕捉词元间的依赖关系，在 Qwen3-8B 上实现最高 6.1 倍的无损加速，并在所有基准测试中均优于 DFlash 基线。
该论文提出了 Packed-SS，一种自投机解码调度方案。该方案让扩散起草器在验证当前草稿时，提前一次调用构建下一份草稿，从而在单次模型调用中完成验证与起草。其输入规模随投机宽度线性增长，并在 Nemotron 3B/8B 和 SetDLM 1.7B 上实现了更高的吞吐量。
NVIDIA 的这篇技术博客介绍了在 DGX Spark 上加速 Ling-3.0-flash 混合专家（MoE）模型推理的三种优化技术：Humming MXFP4 MoE 内核、语言模型输出头的在线 FP8 量化，以及基于 NEXTN 的多词元预测投机解码，并分析了组合配置下的集成问题。
Soft-MTP 提出一种 KL 梯度恢复技巧，去除多token预测训练中的噪声残差梯度，在无额外开销下改进困惑度、投机解码与推理能力。
该论文研究了扩散大语言模型作为投机解码草稿模型时的两个关键参数——扩散努力程度与接受准则宽松度——的联合变化，发现二者协同调整能够超越单步扩散草稿方法的速度-质量帕累托前沿。
SPECMEM提出了一种在部署期间持续维护的工具调用记忆系统，通过在线写回已验证的调用记录并配合LRU淘汰和副作用门控机制，在多会话多用户场景下实现最高1.74倍的墙钟加速，同时避免了不可逆操作的错误。
一个针对 llama.cpp 的拉取请求重构了对英特尔 XMX 矩阵引擎的支持，大幅提升了英特尔硬件上的推测解码性能。
对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎（basalt、capy-flash、ninfer-ext）进行完整 262k 上下文基准测试，basalt 在所有上下文长度和两种解码模式下均领先（预填充速度为 8.1k–9.2k 词元/秒，贪心解码速度为 176–265 词元/秒），解码排名与 MTP 草稿接受率一致。
一位爱好者分享了测试结果：在配备 4 块 Intel B65 的系统上，将分块大小增至 8192 后，vLLM Flash-Next 的预填充速度提升约 30%，首 token 延迟（TTFT）缩短约 30%，并附有详细的 Qwen3.8-Flash-Next 基准测试表格和 LibreChat 演示。