@no_stp_on_snek: MTP 草稿每步都要读取 1.27 GB 的 BF16 LM head 来预测下一个 token。248K x 2560，单行 GEMV，每次草稿步骤都要读取……

X AI KOLs Following 工具
quantization multi-token-prediction inference-optimization rocm amd llm-decoding performance

摘要

MTP 投机解码的草稿 LM head 原本每步都要读取 1.27 GB 的 BF16 权重，现改为 Q4_0 量化草稿头（验证与正常解码仍用 BF16），实现约 10.6% 的 token/s 提升，且 greedy 输出 md5 完全一致。相关改动已在 ROCmFPX 的 PR #49 中提交。

🚨 MTP 草稿每步都要读取 1.27 GB 的 BF16 LM head，只为预测下一个 token。 248K x 2560，单行 GEMV，每次草稿步骤都要读一遍。目标模型验证时仍然使用真正的 head。所以草稿 head 现在改成了 Q4_0。验证和正常解码依然保持 BF16。 ⚡ 28.00 / 27.91 → 30.64 / 31.14 tok/s（+10.6%） ✅ 接受率仍是 83/128。greedy 输出 md5 完全一致。一次性多占 +360 MiB。 https://github.com/ROCmFPX/ROCmFPX/pull/49… @Italianclownz @AIatAMD Strix Halo 冲刺仍在继续……
查看原文
查看缓存全文

缓存时间: 2026/10/12 01:17

🚨 MTP 草稿阶段原本要读取 1.27 GB 的 BF16 LM head，只为猜下一个 token。

248K x 2560，每步草稿都是一次单行 GEMV。目标模型仍然用真正的 head 做验证。所以草稿 head 现在换成了 Q4_0。验证和常规解码依然保持 BF16。

⚡ 28.00 / 27.91 → 30.64 / 31.14 tok/s（+10.6%） ✅ 接受率仍是 83/128。贪心输出 md5 完全一致。一次性增加 +360 MiB。

https://github.com/ROCmFPX/ROCmFPX/pull/49… @Italianclownz @AIatAMD

Strix Halo 的冲刺还在继续……

相似文章

为什么 MTP 比标准解码更慢？

Reddit r/LocalLLaMA

一位用户询问，为什么对于 Ornith 1.5 9B，llama.cpp 中的多 Token 预测（MTP）推测解码虽然草稿接受率高达 0.95，吞吐量却低于标准解码（约 15 tok/s，而标准解码约为 30 tok/s），并指出内存带宽和 GPU 利用率均减半。