@basecampbernie: https://x.com/basecampbernie/status/2074262192304832535
摘要
本文详细介绍了作者在GIGABYTE AI TOP ATOM(DGX Spark)工作站上运行NVFP4量化图像和视频生成模型的设置与基准测试,使用FLUX.2、Qwen-Image和LTX-2.3等模型(含同步音频的视频)取得了令人印象深刻的性能。
查看缓存全文
缓存时间: 2026/07/08 03:40
自行拍片的机器:DGX Spark 上的 NVFP4
今年春天,Spark GPU对NVFP4的支持终于成熟。我花了一个下午在技嘉 AI TOP ATOM 上围绕它重建了我的图像和视频管线,并测量了结果。
昨天我把所有内容都放到了一个机器上:一台 @GIGABYTEUSA AI TOP ATOM,即技嘉制造的 @NVIDIAAI DGX Spark。配备GB10和128 GB统一内存。
三个图像模型
堆栈的图像侧最终由三个模型组成,每个模型承担不同的任务。它们都通过ComfyUI运行,启动日志确认了硬件路径:Native ops: … nvfp4。
FLUX.2-dev NVFP4(官方 @bfl_ai 检查点)负责高要求的工作。这是一个320亿参数的模型,在BF16下会占用64 GB;量化后,它只占用 21.7 GB,使用Turbo LoRA以8步渲染1024²图像用时 22.8秒。
Qwen-Image-2512 Lightning(@Alibaba_Qwen,使用lightx2v 4步蒸馏)是我在本地用过的最强文字渲染器。我让它生成一张装饰艺术风格的旅行海报,包含一个标题行和一个标语行,第一次尝试就正确输出了这两行。它以原生1328²分辨率生成,用时 11.1秒。
Z-Image-Turbo NVFP4(@Ali_TongyiLab)是快速模型:每张1024²图像仅需 5.7秒。这个速度足以在不打断思路的情况下探索种子和提示词变体,从而改变了工具的实际使用体验。
视频(同时生成音频)
LTX-2.3 22B NVFP4是官方 @Lightricks / @LTX_studio 检查点,也是这台机器上最有趣的模型。它在一个扩散步骤中同时生成视频和同步音频,因此生成的片段自带火焰噼啪声、雨声或室内环境音。
在Spark上,生成4秒768×512分辨率、24fps的视频,模型预热后需要 27秒。这个22B transformer模型占用 16.7 GB。在1152×768分辨率下,每个片段大约需要73秒,这意味着制作一个8个镜头、29秒的短片大约需要10分钟的GPU时间。
我可以证明这个估算,因为这台机器昨天制作了两部短片。种子静图来自FLUX.2和Qwen,运动和声音来自LTX,用ffmpeg编辑,全部在同一台机器上完成。其中一部就是本文开头展示的短片。
整个堆栈全部为4位量化,包括文本编码器:FLUX.2使用 @MistralAI Mistral-3-Small,LTX使用 @GoogleDeepMind 的 Gemma-3-12B,Z-Image使用 Qwen3-4B,全部以FP4混合形式存在,并通过CUDA 13 CUTLASS分发到张量核心FP4路径。
实际效果是:同一台机器还通过vLLM提供 Qwen3.6-27B-NVFP4 作为兼容OpenAI的端点,并且较小的图像模型可以在服务期间同时生成。昨天,当27B模型占用68 GB并持续应答请求时,一个Z-Image渲染在12秒内完成。对于较大的模型,一个绑定 @tailscale 的小型Web控制台可以启动和停止各个堆栈,以便需要内存的堆栈可以获取资源。
使用到的三个软件:
- comfy-kitchen(ComfyUI的内核层,在aarch64上提供原生NVFP4运算);
- comfy-aimdo(其DynamicVRAM按需加载权重,而非固定常驻);
- 以及三个在此硬件上重要的启动标志:跳过 –gpu-only、禁用固定内存、关闭 @PyTorch 缓存分配器。
测试结果:
所有测量均在此机器上进行,2026年7月6日。Warm指模型已常驻内存;cold包括首次加载权重。
- FLUX.2-dev NVFP4 (32B), 1024², 8步: 22.8秒 预热, 50.8秒 冷启
- Qwen-Image-2512 Lightning (20B), 1328², 4步: 11.1秒 预热, 20.9秒 冷启
- Z-Image-Turbo NVFP4 (6B), 1024², 8步: 5.7秒 预热, 8.0秒 冷启
- LTX-2.3 NVFP4 (22B), 4秒视频含音频: 27.1秒 预热, 49.9秒 冷启
一个32B图像模型、一个22B音频视频模型和一个27B语言模型,全部量化为4位,都在一台小型台式机上运行良好。包含所有下载和启动命令的完整复现指南在配套文章中。
P.S. @nvidia @GIGABYTEUSA:如果你们哪位有闲置的ATOM,这台机器白天制作短片,晚上运行27B模型,我还有一长串两台ATOM通过ConnectX-7能做的事情。只是说说而已。
相似文章
@MichaelGannotti: https://x.com/MichaelGannotti/status/2074486390432149979
对NVIDIA的Nemotron-3 Mamba-Transformer混合模型在DGX Spark硬件上的全栈评估,包括架构分析、量化(NVFP4)、基准测试结果,以及开源测试套件smf-bench的介绍。
@hotschmoe: 在阅读了这篇文章后,我决定让 nvfp4 在我的 Intel Arc B70s 上运行看看,12小时后,它的运行速度……
一位用户成功在 Intel Arc B70s GPU 上运行了 nvfp4 量化,相比其最佳的 int4 配置,实现了近乎两倍的速度和更高的精度,挑战了硬件特定的格式假设。
@shaneparrish: https://x.com/shaneparrish/status/2075226155548807210
演示了在MacBook Pro上利用BBQ-FP4量化同时运行两个80B Qwen模型,声称性能无损且速度很快。
@SpaceTimeViking: Qwen3.6 27B 在新的 AEON ULTIMATE VLLM 镜像上备受青睐 @NVIDIAAI DGX SPARK OPTIMIZED!https://github.com/AEO…
AEON-7 发布了 Qwen3.6-27B 的完全无审查、能力增强的 ablitation 版本,针对 NVIDIA DGX Spark 进行了优化,采用 NVFP4 量化和 DFlash 推测解码以提升性能。
@philipkiely: https://x.com/philipkiely/status/2069212319746506968
Baseten 宣布推出针对 GLM-5.2 开源模型的世界最快 API,通过 NVFP4 量化、分离式推理等优化,实现每秒超过 280 个 token 的处理速度。