Ling-3.0 (BailingMoE3) 进入 llama.cpp 主线 - Intel Arc B580 上的快速基准测试

终于，llama.cpp 现在正式支持 Ling-3.0 了！（从构建 b10472 开始）如果你想在本地运行它们，bartowski 已经发布了两个模型的 GGUF imatrix 量化版本：- Ling-3.0-tiny (8B) - Ling-3.0-flash (127B) 经过一段时间，PR #26608 已经正式合并到主分支！还有一些小细节需要解决，但 BailingMoE3 支持现在在 llama.cpp 中已完全官方化。 在我的 Linux 上的 B580，我使用了： ./llama-bench -m Ling-3.0-tiny-Q8_0.gguf -ngl 99 -fa on --cache-type-k q8_0 --cache-type-v q8_0 -p 16384 -n 128 -n 32 -r 1 结果如下： | 模型 | 大小 | 参数 | 后端 | ngl | type_k | type_v | fa | 测试 | t/s | | ------------------------------ | ---------: | ---------: | ---------- | --: | -----: | -----: | --: | --------------: | -------------------: | | bailingmoe3 7.9B.A1.3B Q8_0 | 7.83 GiB | 7.89 B | Vulkan | 99 | q8_0 | q8_0 | 1 | pp16384 | 120.76 ± 0.00 | | bailingmoe3 7.9B.A1.3B Q8_0 | 7.83 GiB | 7.89 B | Vulkan | 99 | q8_0 | q8_0 | 1 | tg128 | 114.24 ± 0.00 | | bailingmoe3 7.9B.A1.3B Q8_0 | 7.83 GiB | 7.89 B | Vulkan | 99 | q8_0 | q8_0 | 1 | tg32 | 114.78 ± 0.00 | 构建：9d77fa172 (10488) 我还运行了更大上下文的测试： ./llama-bench -m Ling-3.0-tiny-Q8_0.gguf -ngl 99 -fa on --cache-type-k q8_0 --cache-type-v q8_0 -p 32768 -n 32 -r 1 纯文本： | 模型 | 大小 | 参数 | 后端 | ngl | type_k | type_v | fa | 测试 | t/s | | ------------------------------ | ---------: | ---------: | ---------- | --: | -----: | -----: | --: | --------------: | -------------------: | | bailingmoe3 7.9B.A1.3B Q8_0 | 7.83 GiB | 7.89 B | Vulkan | 99 | q8_0 | q8_0 | 1 | pp32768 | 62.53 ± 0.00 | | bailingmoe3 7.9B.A1.3B Q8_0 | 7.83 GiB | 7.89 B | Vulkan | 99 | q8_0 | q8_0 | 1 | tg32 | 110.49 ± 0.00 | 构建：9d77fa172 (10488) 总体来说，速度相当不错。我实际上可以在我的 12GB 显存中使用 -c 131072 -ngl 99 -fa 1 --cache-type-k q8_0 --cache-type-v q8_0 运行完整的 128K 上下文。虽然我还需要测试是否可以进一步提升，因为出现了一些警告，但这是完全可行的，而且对于本地设置来说速度非常快。