本地智能体编码基准测试:Qwen3.8-Flash-Next NVFP4 对比 27B(以及其他...)

Reddit r/LocalLLaMA 模型

摘要

基准测试显示,Qwen3.8-Flash-Next-NVFP4 在本地模型中取得了接近最高分数,在请求处理和令牌生成方面表现出卓越效率,尽管训练不足,但速度仍然显著。

使用 https://huggingface.co/RadixArk/Qwen3.8-Flash-Next-NVFP4 和 https://old.reddit.com/r/BlackwellPerformance/comments/1w04xb7/qwen38_flashnext_on_1x_rtx_pro_6000_171_ts_c1_428/ 。一如既往,所有详情在 https://wonderrico.github.io/local_llm_benchmark/benchmark-main.html?filter=3.8 甚至更多在 https://wonderrico.github.io/local_llm_benchmark/benchmark-detail.html?filter=3.8 (低分的是来自 HF 的 "随机" 未审查版本 https://huggingface.co/dealignai/Qwen3.8-Flash-Next-UNCENSORED-NVFP4 )我将测试其他版本。底线是:在我测试的所有本地模型中几乎最高分,在请求数/点和生成令牌数/pt方面最高效,所有在中等推理下。(xhigh 在此基准测试中再次无用)如果这还不够快,所有这些对于一个训练不足的模型来说... https://preview.redd.it/dnk0yc90g5mh1.png?width=1366&format=png&auto=webp&s=115509753cb30cfe67f9b9d13158dcc300c3435d
查看原文

相似文章

Qwen3.8-Flash-Next-NVFP4 对比 Qwen3.8-27B-FP 测试结果

Reddit r/LocalLLaMA

本文详细测试了Qwen3.8-Flash-Next-NVFP4与Qwen3.8-27B-FP8两款AI模型在各类任务中的性能表现,结果显示Flash-Next版本在速度与失败率方面更具优势,但在处理多步骤符号任务时表现较弱。

NVFP4 下的 Qwen3.8-FN(Basalt vs cachy-flash vs ninfer-ext)

Reddit r/LocalLLaMA

对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎(basalt、capy-flash、ninfer-ext)进行完整 262k 上下文基准测试,basalt 在所有上下文长度和两种解码模式下均领先(预填充速度为 8.1k–9.2k 词元/秒,贪心解码速度为 176–265 词元/秒),解码排名与 MTP 草稿接受率一致。

# Qwen 3.6 27B - VLLM 性能基准测试结果(BF16、FP8、NVFP4)

Reddit r/LocalLLaMA

使用 VLLM 对 Qwen 3.6 27B 在 BF16、FP8 和 NVFP4 三种量化方式下的详细基准测试显示:NVFP4 在 token 生成方面最快,但 FP8 在提示处理方面表现最佳。本文还提供了针对编码任务选择合适量化的实用建议。