搭配 Qwen3.8 Flash Next UD-Q4_K_XL 的 Strata

Reddit r/LocalLLaMA 新闻
inference benchmark quantization llm gpu kv-cache speculative-decoding

摘要

一位用户报告称，在配备 RTX PRO 6000 的 Strata 上运行采用 Unsloth UD-Q4_K_XL 量化的 Qwen3.8-Flash-Next 时，单请求解码速度表现出色；在文本写作、计数、编程和推理任务中，其吞吐量约为同一 GPU 上 vLLM 的 2 倍。

最近看到不少关于 Strata 的帖子，所以我决定在我的 RTX PRO 6000 上试一试，结果让我印象非常深刻。我看到的大多数基准测试都使用 IQ2 或 IQ3 量化，所以我想看看 Unsloth 的 UD-Q4_K_XL 表现如何。配置：GPU：1 张 RTX PRO 6000 Workstation（96GB）模型：Qwen3.8-Flash-Next UD-Q4_K_XL（Unsloth）后端：Strata KV 缓存：INT8，256K 上下文 推测解码：MTP-4 输出：每项任务约 256 个 token 每项任务运行 2 次 单请求解码（C1）：任务 Strata（RTX PRO 6000）vLLM（RTX PRO 6000）vLLM（DGX Spark TP2）散文 185.8 95.3（-49%）38.2（-79%）计数 320.4 171.0（-47%）75.3（-77%）编程 298.9 162.6（-46%）60.1（-80%）推理 289.1 149.6（-48%）51.8（-82%）两个 vLLM 实例都使用了英伟达的 NVFP4 量化，所以这并不完全是同等条件下的比较，但速度提升显而易见。Qwen 3.8 Flash Next 处理编程任务快得飞起，效率高得惊人。期待 Qwen 4！
查看原文

相似文章

我不明白 qwen 3.8 flash next 有什么好炒作的

Reddit r/LocalLLaMA

一位社区成员报告称，在编写俄罗斯方块游戏的任务中，Qwen 3.8 Flash Next（在 4 张 RTX 3090 上运行 UD-Q4_K_XL 量化版）的表现不如 Qwen 3.8 27B Q8。尽管生成速度更快，它仍产生了多处 bug，且未能在 Strata 中交付可玩的 .exe 文件，这让围绕这款较小模型的热捧受到质疑。