NVFP4 + MTP - 现已登陆 llama.cpp
摘要
NVFP4 量化和 Multi-Token Prediction 支持已添加到 llama.cpp 的 b9297 版本中。
如标题所示 - NVFP4 + MTP 同时在 llama.cpp 中出现 [https://github.com/ggml-org/llama.cpp/releases/tag/b9297](https://github.com/ggml-org/llama.cpp/releases/tag/b9297)
相似文章
llama + spec: 由 am17an 提交的 MTP 支持 · Pull Request #22673 · ggml-org/llama.cpp
拉取请求为 llama.cpp 添加多令牌预测（MTP）支持，启用推测解码以加速推理。
这是我的 llama.cpp NVFP4/MXFP6 GGUF 量化工具
作者介绍了一款开源的 GGUF 量化工具，用于 llama.cpp，能够创建 NVFP4 和 MXFP6 量化模型，并采用 RSF、张量提升、动态量化等先进技术，质量优于现有方法（如 ModelOpt）。
MTP 支持已合并至 llama.cpp
为 llama.cpp 添加 MTP（多令牌预测）支持的拉取请求已合并至 master 分支。
在 Qwen3.6 - RTX 5090 上测试 llama.cpp 的 MTP 支持
在 RTX 5090 上使用 Qwen3.6 模型对 llama.cpp 的新多标记预测（MTP）支持进行技术测试，比较不同提示和 GGUF 量化下开启和关闭 MTP 的性能表现。
b9200 发布 - 潜在 MTP 提示处理速度提升
llama.cpp 版本 b9200 通过避免不必要的 logits 复制，减少了内存流量，从而提升了多令牌预测（MTP）的提示处理速度。