本地智能体编码基准测试:Qwen3.8-Flash-Next NVFP4 对比 27B(以及其他...)
摘要
基准测试显示,Qwen3.8-Flash-Next-NVFP4 在本地模型中取得了接近最高分数,在请求处理和令牌生成方面表现出卓越效率,尽管训练不足,但速度仍然显著。
使用 https://huggingface.co/RadixArk/Qwen3.8-Flash-Next-NVFP4 和 https://old.reddit.com/r/BlackwellPerformance/comments/1w04xb7/qwen38_flashnext_on_1x_rtx_pro_6000_171_ts_c1_428/ 。一如既往,所有详情在 https://wonderrico.github.io/local_llm_benchmark/benchmark-main.html?filter=3.8 甚至更多在 https://wonderrico.github.io/local_llm_benchmark/benchmark-detail.html?filter=3.8 (低分的是来自 HF 的 "随机" 未审查版本 https://huggingface.co/dealignai/Qwen3.8-Flash-Next-UNCENSORED-NVFP4 )我将测试其他版本。底线是:在我测试的所有本地模型中几乎最高分,在请求数/点和生成令牌数/pt方面最高效,所有在中等推理下。(xhigh 在此基准测试中再次无用)如果这还不够快,所有这些对于一个训练不足的模型来说... https://preview.redd.it/dnk0yc90g5mh1.png?width=1366&format=png&auto=webp&s=115509753cb30cfe67f9b9d13158dcc300c3435d
相似文章
Qwen3.8-Flash-Next-NVFP4 对比 Qwen3.8-27B-FP 测试结果
本文详细测试了Qwen3.8-Flash-Next-NVFP4与Qwen3.8-27B-FP8两款AI模型在各类任务中的性能表现,结果显示Flash-Next版本在速度与失败率方面更具优势,但在处理多步骤符号任务时表现较弱。
本地代理编码基准测试:Qwen 3.8 27B(多种权重量化/缓存量化/引擎/推理努力)与其他模型对比。
文章报道了一项基准测试,比较Qwen 3.8 27B与其他模型在代理编码方面的表现,强调中等推理模式在效率上更优,而xhigh模式在分数上没有显著提升。
Qwen3.8:27B 对比 Flash Next。大家都知道跑分,但至少对我来说,现实完全是另一回事
一位开发者对比自托管的 Qwen3.8-27B-GGUF(Q4_K_XL,通过 llama.cpp)与云端的 Qwen3.8 Flash Next,认为尽管跑分更差,稠密的 27B 在代码质量上更好、需要的返工迭代更少、代码评审更简洁,且在其规格到 PR 的工作流中 token 消耗低得多。
NVFP4 下的 Qwen3.8-FN(Basalt vs cachy-flash vs ninfer-ext)
对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎(basalt、capy-flash、ninfer-ext)进行完整 262k 上下文基准测试,basalt 在所有上下文长度和两种解码模式下均领先(预填充速度为 8.1k–9.2k 词元/秒,贪心解码速度为 176–265 词元/秒),解码排名与 MTP 草稿接受率一致。
# Qwen 3.6 27B - VLLM 性能基准测试结果(BF16、FP8、NVFP4)
使用 VLLM 对 Qwen 3.6 27B 在 BF16、FP8 和 NVFP4 三种量化方式下的详细基准测试显示:NVFP4 在 token 生成方面最快,但 FP8 在提示处理方面表现最佳。本文还提供了针对编码任务选择合适量化的实用建议。