面向原版主线 llama.cpp 的 Ling-3.0-tiny-UBTree DFlash 草稿模型（散文提速 8%，代码提速 61%）

我在自己的 LLM 服务器上使用 Ling-3.0-tiny 进行文本处理。我需要将大量 PDF 文档转换为 Markdown，以供后续的 LLM 处理，并为此构建了自己的定制处理框架。它使用 ONNX 模型解析版面、提取文本，然后进入 LLM 处理阶段，去除多余空白、合并文本行等。这个小模型完全能胜任这些工作，但就它的体量而言，速度却有些慢。今天我看到了一篇帖子，介绍新发布的、用于 Ling-3.0-tiny 的 UBTree DFlash，https://www.reddit.com/r/LocalLLaMA/s/yllgDx4pAk 。我非常兴奋，但随后意识到，很遗憾，目前还没有推理引擎支持它。我实在等不及了，于是从这个 UBTree 中提取出了纯 DFlash 部分（移除了 7 个 ubtree_selector.* 张量）。这部分可以使用原版主线 llama.cpp，通过 dflash 草稿模型运行：llama-server \ -m Ling-3.0-tiny-Q4_K_M.gguf \ -md Ling-3.0-tiny-UBTree-dflash-bf16.gguf \ --spec-type draft-dflash --spec-draft-n-max 6 \ -fa on -c 32768 效果一般。我只做了一些小规模测试，得到以下结果。工作负载 基线（不使用 spec-draft）+ DFlash 草稿模型 提升 接受率 / 平均长度 散文生成 78.8 tok/s 84.8 tok/s +8% 0.28 / 2.7 代码生成（Python）79.0 tok/s 127.2 tok/s +61% 0.53 / 4.2 为了完成转换，我对 llama.cpp 的 GGUF 转换器做了少量修改（详见 HF 模型卡）。其余部分均为原版。如果 llama.cpp 能够真正支持 UBTree，肯定还能带来更大的加速。转换后的模型和转换步骤已发布在 HF 上：yury-kapoyko/Ling-3.0-tiny-UBTree-dflash-GGUF · Hugging Face