llama.cpp speculative checkpointing 已合并
摘要
[https://github.com/ggml-org/llama.cpp/pull/19493](https://github.com/ggml-org/llama.cpp/pull/19493) 部分提示词能加速，部分则不能（草稿接受率低的情况）。有效的工作参数取决于任务类型和重复模式。对于编码任务，我使用以下参数获得了约 0%~50% 的加速：--spec-type ngram-mod --spec-ngram-size-n 24 --draft-min 48 --draft-max 64
[https://github.com/ggml-org/llama.cpp/pull/19493](https://github.com/ggml-org/llama.cpp/pull/19493) 部分提示词能加速，部分则不能（草稿接受率低的情况）。有效的工作参数取决于任务类型和重复模式。对于编码任务，我使用以下参数获得了约 0%~50% 的加速：--spec-type ngram-mod --spec-ngram-size-n 24 --draft-min 48 --draft-max 64
相似文章
新功能：Llama.cpp 自适应推测，加速推理
Llama.cpp 引入自适应推测，可动态调整令牌预测以实现更快的推理速度，最高可提升50%的性能，尤其适用于Qwen3.8等模型。
llama.cpp 中提示查询草稿生成速度提升 42 倍
本文详细介绍了 llama.cpp 中的性能优化，这些优化使得提示查询草稿生成速度最高提升 42 倍，并将内存使用减少 2.6 倍，基于 Daniel Lemire 和 Martin Ankerl 的技术。
llama + spec: 由 am17an 提交的 MTP 支持 · Pull Request #22673 · ggml-org/llama.cpp
拉取请求为 llama.cpp 添加多令牌预测（MTP）支持，启用推测解码以加速推理。
我测试了 llama.cpp 在 Qwen 3.6 27B 上的所有推测性解码方法：MTP ~2.7x, DFlash ~3.7x, n-gram 堆叠在真实编码中达到 ~6x。本地 AI 获胜。我在 RTX 6000 PRO 上的发现。
llama.cpp 在 Qwen 3.6 27B 上的推测性解码方法的全面基准测试表明，在 DFlash 上叠加 n-gram 堆叠在迭代编码任务中实现了高达 6 倍的加速，其中 ngram-mod 贡献了大部分增益且零 VRAM 成本。
通用：由 ggerganov 添加 --spec-draft-n-ubatch · 拉取请求 #30459 · ggml-org/llama.cpp
ggerganov 在 llama.cpp 仓库提交了 PR #30459，为 common 新增 --spec-draft-n-ubatch 选项，用于调整推测解码的草稿微批次大小。