新基准测试发布!

Reddit r/LocalLLaMA 新闻

摘要

新基准测试对比了Qwen3.8-27b、Sol 5.6和Qwen3.6-35B模型在生成沙漠中骆驼背景下的自行车上的马SVG图像时的性能,使用了包含拼写错误的提示。

自行车上的鹈鹕已经过时了,所以我提出了一个全新的改进版本。Qwen3.8-27b 中等(UD-Q4_K_XL)对比 Sol 5.6 高级对比 Qwen3.6-35B(UD-Q6_K_XL)。提示(仅包含真实拼写错误!):"创建一个沙漠中骆驼背景下的蓝色自行车上的马的SVG图像。"
查看原文

相似文章

Horsey 挑战赛 | Strata Fork | Qwen 3.8 FN NVFP4

Reddit r/LocalLLaMA

# 单卡 RTX 5090 运行 Qwen3.8-Flash-Next 125B-A6B:strata-nvfp4 引擎性能实测 有用户在**单张 RTX 5090** 上,使用 **strata-nvfp4** 引擎(Strata 的 NVFP4 分支)运行 **Qwen3.8-Flash-Next 125B-A6B** 混合 MoE 模型,并分享了「小马挑战」的性能数据。 ## 测试任务 「小马挑战」要求模型生成一段 HTML,其中包含一个 Three.js 低多边形风格的奔跑小马动画。 ## 性能数据 | 指标 | 数值 | | --- | --- | | 生成步数 | 87 步 | | 输出 token | 12.4 万 | | 平均解码速度 | 103 t/s | | 缓存命中率 | 99% | ## 亮点 - **单卡跑大模型**:125B 总参数、6B 激活参数的混合 MoE 模型,在一张 RTX 5090 上即可流畅推理。 - **高吞吐解码**:平均 103 t/s 的解码速度,足以支持长内容的一次性生成。 - **极高的缓存命中率**:99% 的命中率说明 KV 缓存复用非常充分,长上下文场景下开销极低。 - **NVFP4 量化收益**:借助 strata-nvfp4 引擎的 4-bit NVFP4 路径,模型权重与计算密度得到显著压缩,才使得如此规模的模型能在消费级显卡上运行。 ## 小结 这份实测表明,在 Strata 的 NVFP4 分支加持下,消费级单卡已经能够以实用速度运行百亿级激活参数的 MoE 模型,为本地大模型部署提供了新的可能性。