@no_stp_on_snek: https://x.com/no_stp_on_snek/status/2107155617135968430

X AI KOLs Following 模型
quantization nvfp4 qwen3 mixture-of-experts vllm multimodal

摘要

Red Hat AI 在 Hugging Face 上发布了 Qwen3.8-Flash-Next 的 NVFP4 量化检查点，其中 MoE 专家层量化为 FP4，其余部分保持 BF16，可直接用于 vLLM 推理。

👀👀👀
查看原文
查看缓存全文

缓存时间: 2026/10/05 17:29

👀👀👀

Red Hat AI (@Red Hat_AI): Qwen3.8-Flash-Next 的 NVFP4 检查点现已发布在 Hugging Face 上。MoE 专家模型量化为 FP4，其余部分保持 BF16，可直接在 vLLM 中使用。支持文本、图像和视频输入。

我们将其与其他热门检查点进行了基准测试。看看表现如何：

相似文章

Nvidia 发布 Qwen3.8-Flash-Next 的 FP4 QAD 量化版本

Reddit r/LocalLLaMA

NVIDIA 发布了 Qwen3.8-Flash-Next-FP4-Local，这是阿里 Qwen3.8-Flash-Next 模型的 FP4 量化版本，采用 NVIDIA Model Optimizer 通过量化感知蒸馏（QAD）构建。该约 96 GiB 的权重文件面向 RTX PRO 6000 Blackwell 和 DGX Spark 等本地 AI 硬件，并已通过 vLLM 验证。

RedHatAI/Qwen3.6-35B-A3B-NVFP4

Hugging Face Models Trending

Red Hat AI 发布 NVFP4 量化的 35B MoE 版 Qwen3.6，在保持 96.28% GSM8K 精度的同时，通过 vLLM 实现 4-bit 推理。

unsloth/Qwen3.6-27B-NVFP4

Hugging Face Models Trending

Unsloth 发布了 Qwen3.6-27B 的 NVFP4 量化检查点，声称吞吐量提升 2.5 倍，精度与 FP8 和 BF16 相当，并提供了在 24GB GPU 上通过 vLLM 运行的说明。