MTP 支持已合并至 llama.cpp

Reddit r/LocalLLaMA 2026/05/16 12:15 工具

open-source llama-cpp multi-token-prediction merge pull-request

摘要

为 llama.cpp 添加 MTP（多令牌预测）支持的拉取请求已合并至 master 分支。

PR [22673](https://github.com/ggml-org/llama.cpp/pull/22673) 已合并至 master！🎉

查看原文

相似文章

Reddit r/LocalLLaMA

拉取请求为 llama.cpp 添加多令牌预测（MTP）支持，启用推测解码以加速推理。

Reddit r/LocalLLaMA

一个用于自适应 MTP 的拉取请求 (PR#27210) 已提交到 llama.cpp，该实现是用于LLM推理的C/C++代码，设置简单且性能高效。

Reddit r/LocalLLaMA

llama.cpp现在支持GLM-Air模型的MTP（多令牌预测），增强了C/C++中大型语言模型的推理能力。

Reddit r/LocalLLaMA

llama.cpp 版本 b9180 已发布，支持多令牌预测 (MTP)。此次发布标志着构建成功，开发者们如释重负。

Reddit r/LocalLLaMA

多令牌预测（MTP）已获批准集成到llama.cpp中，表明本地LLM推理工具即将更新。