Strata - Qwen 3.8 Flash Next - 提升解码速度的小技巧

Reddit r/LocalLLaMA 工具
inference decoding-speed quantization llama-cpp qwen performance-tuning

摘要

用户分享了基准测试结果：在 Strata 中将 --adapt-every 参数从 1 提升到 6 后，多个 Qwen 3.8 Flash Next 提示词的 token 生成速度提升了 9-55%，其中长上下文代码描述场景的提升幅度最大。

通过将 --adapt-every 的值从默认校准值 1 提高到 6，我获得了相当不错的性能提升。我在聊天中用 4 个连续的提示词（斯洛伐克语）进行了测试。提示词 1-3 是简单问题，4 是描述源代码（20K tokens）。 结果：[提示词编号 / ~平均输出长度] UD-Q4_K_XL: [1 / 996] 30.3 -> 36.1 t/s (+19%) [2 / 473] 31.6 -> 35.4 t/s (+12%) [3 / 1245] 32.6 -> 40.1 t/s (+23%) [4 / 4148] 27.8 -> 43.1 t/s (+55%) UD-IQ4_XS: [1 / 947] 57.9 -> 63.1 t/s (+9%) [2 / 565] 51.9 -> 64.3 t/s (+24%) [3 / 1162] 57.6 -> 71.6 t/s (+24%) [4 / 4881] 56.0 -> 65.3 t/s (+16%) PC: Intel [email protected], RTX 4070 ti super, 64GB DDR4, NVMe, Arch linux TTY
查看原文

相似文章

搭配 Qwen3.8 Flash Next UD-Q4_K_XL 的 Strata

Reddit r/LocalLLaMA

一位用户报告称，在配备 RTX PRO 6000 的 Strata 上运行采用 Unsloth UD-Q4_K_XL 量化的 Qwen3.8-Flash-Next 时，单请求解码速度表现出色；在文本写作、计数、编程和推理任务中，其吞吐量约为同一 GPU 上 vLLM 的 2 倍。