prefill-performance

在同一台 Mac Studio M5 Ultra 256GB 上，使用相同框架对比了 Qwen3.8-Flash-Next（182GB oQ8e）与 Laguna-S-2.1 GGUF 在最高 262K 上下文下的表现。Qwen 在预填充阶段保持约 4,200 tok/s 的线性速度，解码稳定；而 Laguna 则呈超线性退化；质量方面双方 4/4 打平，但答题风格迥异。

该帖子宣布了Qwen3.8 Flash模型的新量化版本，通过改进的KLD测量和优化的预填充性能，超越了其他高质量量化版本。

作者比较了用于LLM推理的各种GPU，批判了常见的基准测试，并强调了预填充性能比生成速度更重要，针对不同预算和使用场景给出了建议。