充分发挥MTP的性能

Reddit r/LocalLLaMA 工具
mtp multi-token-prediction performance-tuning benchmarks gemma qwen

摘要

一份通过调整n_max参数来优化MTP（多令牌预测）性能的指南，附带了多种模型（如Gemma-31b和Qwen）在P100和V100 GPU上的基准测试结果。

如果你想充分发挥MTP的性能，就必须进行一些测试或基准测试。使用默认设置打开它虽然能带来改进，但对于许多模型和显卡组合来说，如果不调整n_max，会浪费大量性能。在某些模型上，可能会轻易损失50-100%的潜在性能。我针对自己在硬件（p100 + 2xV100）上使用的各种模型进行了一些基准测试，发现不同模型家族之间存在相当大的差异。以下是我得到的一些结果。完整细节、其他一些模型（包括对显存的影响）以及运行基准测试的脚本都在GitHub上：https://github.com/bradrlaw/ai-server/blob/main/docs/benchmarking.md Gemma-31b 随着n-max的增加而表现良好 Qwen 从中等设置中获益最多 大家最爱的模型扩展得很好 较小的Gemma模型行为与较大的相反
查看原文

相似文章

MTP 关键在于接受率

Reddit r/LocalLLaMA

一位用户在 M4 Max Studio 上使用 mlx-vlm 对 Gemma 4 进行了 MTP（多令牌预测）基准测试，发现它在代码生成方面表现出色（速度快 1.53 倍，接受率 66%），但对 JSON 输出不利（速度慢 50%，接受率仅 8%），对长篇散文则影响中性，表明当令牌接受率低于 50% 时，MTP 的优势便荡然无存。