MTP 支持已合并至 llama.cpp
摘要
为 llama.cpp 添加 MTP（多令牌预测）支持的拉取请求已合并至 master 分支。
PR [22673](https://github.com/ggml-org/llama.cpp/pull/22673) 已合并至 master！🎉
相似文章
llama + spec: 由 am17an 提交的 MTP 支持 · Pull Request #22673 · ggml-org/llama.cpp
拉取请求为 llama.cpp 添加多令牌预测（MTP）支持，启用推测解码以加速推理。
b9180 llama.cpp MTP 已落地
llama.cpp 版本 b9180 已发布，支持多令牌预测 (MTP)。此次发布标志着构建成功，开发者们如释重负。
这是个好消息...
多令牌预测（MTP）已获批准集成到llama.cpp中，表明本地LLM推理工具即将更新。
移除MTP中的填充和多重D2D拷贝 - 由gaugarg-nv提交 · 拉取请求#24086 · ggml-org/llama.cpp
一个针对 llama.cpp 的拉取请求，移除了多令牌预测 (MTP) 中的填充和多重设备到设备拷贝，提高了 GPU 上的性能。
StepFun 3.5 MTP 由 pwilkin 提交 · 拉取请求 #23274 · ggml-org/llama.cpp
为 llama.cpp 添加 StepFun 3.5 MTP 模型支持的拉取请求。