@ivanfioravanti: llamacpp 即将支持 MTP！
摘要
llamacpp 即将支持多令牌预测（MTP），提升推理效率。
llamacpp 即将支持 MTP！🚀
查看缓存全文
缓存时间: 2026/05/08 19:37
llamacpp 即将获得 MTP 支持！🚀
相似文章
这是个好消息...
多令牌预测（MTP）已获批准集成到llama.cpp中，表明本地LLM推理工具即将更新。
MTP 支持已合并至 llama.cpp
为 llama.cpp 添加 MTP（多令牌预测）支持的拉取请求已合并至 master 分支。
llama + spec: 由 am17an 提交的 MTP 支持 · Pull Request #22673 · ggml-org/llama.cpp
拉取请求为 llama.cpp 添加多令牌预测（MTP）支持，启用推测解码以加速推理。
@no_stp_on_snek：首次在我的 llamacpp 分支上测试了 MTP，使用 turbo4 sym。GX10 硬件。使用 MoE 模型：llmfa…
在 llamacpp 分支上使用基于 Qwen 的 MoE 模型测试了多 token 预测，相比 fp16 基线获得了 +0.41% 的 PPL 提升。
b9180 llama.cpp MTP 已落地
llama.cpp 版本 b9180 已发布，支持多令牌预测 (MTP)。此次发布标志着构建成功，开发者们如释重负。