@AgentSparko: 我在DGX Spark上测试了PrismML Bonsai 27B，但我觉得在构建llama.cpp时好像搞错了什么，因为速度…

我在 DGX Spark 上测试了 PrismML Bonsai 27B，但我认为在构建 llama.cpp 时搞错了什么，因为速度测试结果跟我预期的完全不同。

Ternary-Bonsai 27B + DSpark + Q4_0 KV cache 结果

1. 短提示

• 上下文：73 个 token
• 预填充：29.3 tok/s
• 解码（80 个 token）：20.61 tok/s
• 草稿接受率：60/76 (79%)

2. 6K 上下文 + 1K 解码

• 上下文：7,153 个 token
• 预填充：434.9 tok/s
• 解码（1024 个 token）：10.98 tok/s
• 草稿接受率：560/1846 (30.3%)

这些是在启用 Q4 KV cache 时获得的数字（-ctk q4_0 -ctv q4_0）。

顺便说一下：这是我第一次看到 GPU 在推理时使用率在 40-50%，通常是 96%，GPU 功耗在 40W-85W（只有 Qwen 35B 和 27B 在 40W 左右）

我通常使用 AEON-7 Ultimate vLLM Docker 容器，搭配 Qwen 27B NVFP4 和 DFlash 草稿，单流解码速度在 40-50 tok/s 左右，我原本预期使用 Ternary 量化配合 DSpark 会快得多。

请查看附带的截图，如果你在 DGX Spark 上测试过，并使用其他标志构建 llama.cpp，请告诉我。

我个人不喜欢 llama.cpp，只用 vLLM，所以上次使用还是在三月份，而且不记得哪些标志最适合编译它。

PrismML (@PrismML): 今天，我们宣布 Bonsai 27B：首款能在手机上运行的 27B 级模型。

Bonsai 27B 是 Bonsai 家族的新多模态旗舰。基于 Qwen3.6 27B，它为本地 AI 带来了新的能力层级：多步推理、结构化工具使用、长上下文工作流。