nvfp4

一个 Hugging Face 仓库发布了据称泄露的、Anthropic 尚未发布的约 140 亿（14T）参数 Mythos 级模型（代号 "numbat"，在 Claude Code 源码泄露中被提及）的预训练中期检查点，包含 772 个 safetensors 分片（约 7.72 TB）、完整的参考实现，以及在约 1.96M 步训练中进行到第 1.83M 步的训练日志。

对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎（basalt、capy-flash、ninfer-ext）进行完整 262k 上下文基准测试，basalt 在所有上下文长度和两种解码模式下均领先（预填充速度为 8.1k–9.2k 词元/秒，贪心解码速度为 176–265 词元/秒），解码排名与 MTP 草稿接受率一致。

ISTA-DASLab 发布了 Qwen3.8-27B 的 NVFP4 量化版本，通过从 SSD 流式读取的 prefiller 模型在低 VRAM 下恢复低比特量化精度，且在超过约 4k 的上下文长度下无明显速度损失，需要 Nvidia Blackwell GPU。

Basalt 推理工具新增原生 NVFP4 支持与更快的 Prefill，可在单张 RTX 5090 上运行 Qwen3.8 Flash-Next，解码速度最高达 479 tok/s，Prefill 速度达 8,582 tok/s，同时质量接近 Q8 水平。

capy-flash 是基于 ninfer-tp2 进化的本地推理引擎，可在两张 16GB 消费级 RTX 5070 Ti 上以 NVFP4 全精度量化运行 Qwen3.8-Flash-Next 125B-A6B（MoE 专家卸载至内存），生成速度约 100 tok/s，超过 Strata。作者还发现并修复了张量并行下双重 BF16 舍入导致的误差放大问题，改用 FP16 传输部分和即可获得与单 GPU 相当的数值精度。

QUASAR 释放了针对 Qwen3.5-4B、Gemma 4 E4B/12B 和 Muse Glimmer 30B 的 4-bit QAT 检查点（NVFP4 与 Q4_0 GGUF 格式），通过量化感知蒸馏在 KL 散度和下游基准上超越 Google 与 NVIDIA 的官方 4-bit 版本。代码、论文与项目页现已公开。

# 单卡 RTX 5090 运行 Qwen3.8-Flash-Next 125B-A6B：strata-nvfp4 引擎性能实测 有用户在**单张 RTX 5090** 上，使用 **strata-nvfp4** 引擎（Strata 的 NVFP4 分支）运行 **Qwen3.8-Flash-Next 125B-A6B** 混合 MoE 模型，并分享了「小马挑战」的性能数据。 ## 测试任务 「小马挑战」要求模型生成一段 HTML，其中包含一个 Three.js 低多边形风格的奔跑小马动画。 ## 性能数据 | 指标 | 数值 | | --- | --- | | 生成步数 | 87 步 | | 输出 token | 12.4 万 | | 平均解码速度 | 103 t/s | | 缓存命中率 | 99% | ## 亮点 - **单卡跑大模型**：125B 总参数、6B 激活参数的混合 MoE 模型，在一张 RTX 5090 上即可流畅推理。 - **高吞吐解码**：平均 103 t/s 的解码速度，足以支持长内容的一次性生成。 - **极高的缓存命中率**：99% 的命中率说明 KV 缓存复用非常充分，长上下文场景下开销极低。 - **NVFP4 量化收益**：借助 strata-nvfp4 引擎的 4-bit NVFP4 路径，模型权重与计算密度得到显著压缩，才使得如此规模的模型能在消费级显卡上运行。 ## 小结 这份实测表明，在 Strata 的 NVFP4 分支加持下，消费级单卡已经能够以实用速度运行百亿级激活参数的 MoE 模型，为本地大模型部署提供了新的可能性。

NVIDIA 发布了 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4，这是一款采用 NVFP4 量化的视觉语言模型，拥有 1200 亿总参数/120 亿激活参数，采用 Mamba-2 混合 MoE 架构，配备 C-RADIO 视觉编码器，支持最高 100 万 token 的上下文窗口，并原生支持多 token 预测以实现投机解码，采用 OpenMDW-1.1 许可证，可用于商业和非商业用途。

发布 autotrust/JEV-35B-NVFP4，将 JEV-35B 的 10,240 个路由专家 MLP 量化为 NVIDIA NVFP4 格式，模型体积从 71.9 GB 降至 25.6 GB，同时在 Decision Index、视觉和机器人任务上仅保留极小的精度损失。

AutoTrust AI 发布了开源权重模型 autotrust/JEV-35B，一个基于 Qwen3.5-35B-A3B 构建的 System 1 决策模型，单次前向可处理多达 256 个选项，在 Decision Index 0.3 公开测试集上取得 59.73 分，优于 JEV-27B-VL，并提供可在单张 32–48 GB GPU 上运行的 NVFP4 量化版本。

Red Hat AI 在 Hugging Face 上发布了 Qwen3.8-Flash-Next 的 NVFP4 量化检查点，其中 MoE 专家层量化为 FP4，其余部分保持 BF16，可直接用于 vLLM 推理。

autotrust/GEV-26B-Decide-NVFP4 是 GEV-26B-Decide 的 NVFP4 4 位量化版本，仅对 3,840 个路由专家 MLP 进行量化，将权重从 49.5 GB 压缩至 18 GB（GPU 显存减少 66%）。其基准测试结果与 bf16 模型的差异处于运行间噪声范围内，并支持在 Blackwell GPU 上通过 vLLM 进行原生 W4A4 推理。

SoloQ提出一种免校准的量化框架，将权重和激活映射到归一化旋转基底，实现数据无关的4比特量化，在扩散语言模型上保持精度并最多降低2.61倍峰值内存、加速2.24倍推理。

一位开发者展示了一个完全本地运行的跑酷模拟程序，使用在 2 台 DGX Spark 上运行的 GLM 5.3 Flash，搭配 vLLM TP2 配置，报告在 100k 上下文下预填充约 1500 t/s、解码约 40 t/s，并称赞了该模型在代码、视觉和 3D 理解方面的能力。他分享了 vLLM NVFP4 配置仓库，供其他人复现这一环境。

一位用户在 Blackwell MaxQ 显卡上测试了全新的 Ninfer 推理后端，在 qwen3.8-27b-nvfp4 模型上跑出 130-180 t/s 的速度，并发解码时几乎没有减速——他表示并发能力堪比 vLLM，吞吐远超 llama-server，即便是在 Windows 10 上安装之后也是如此。

优化了在单张 AMD Radeon R9700 GPU 上运行 Qwen3.8 27b NVFP4 模型的性能，解码速度高达每秒 153 个令牌，预填充速度达每秒 3,619 个令牌，并提升了并发性能。

本文解释了为什么将混合LLM中循环Gated DeltaNet层完全量化为4位NVFP4能在长上下文基准测试中保持精度，详细阐述了异常值定位和鲁棒delta规则动态等机制。

OCGQuant提出了一种用于NVFP4量化的异常值伴随分组方法，以减少激活块误差，提升LLM推理效率。在Llama3和Qwen3上的实验表明，其性能优于现有的后训练量化技术。

NVIDIA研究人员将在2026年PyTorch北美会议上介绍如何使用NVFP4预训练配方来加速大规模LLM训练，同时保持与BF16相当的质量，并集成到PyTorch工具如TorchAO和TorchTitan中。

RadixArk/Qwen3.8-Flash-Next-NVFP4 现已在 SGLang-V100 中得到支持，使得在 4xV100 GPU 上能够进行全上下文操作，性能指标显示高吞吐量，上下文处理能力高达 256k tokens。