@basecampbernie: https://x.com/basecampbernie/status/2074262192304832535

X AI KOLs Timeline 工具

摘要

本文详细介绍了作者在GIGABYTE AI TOP ATOM(DGX Spark)工作站上运行NVFP4量化图像和视频生成模型的设置与基准测试,使用FLUX.2、Qwen-Image和LTX-2.3等模型(含同步音频的视频)取得了令人印象深刻的性能。

https://t.co/2RvV3D5Hxa
查看原文
查看缓存全文

缓存时间: 2026/07/08 03:40

自行拍片的机器:DGX Spark 上的 NVFP4

今年春天,Spark GPU对NVFP4的支持终于成熟。我花了一个下午在技嘉 AI TOP ATOM 上围绕它重建了我的图像和视频管线,并测量了结果。

昨天我把所有内容都放到了一个机器上:一台 @GIGABYTEUSA AI TOP ATOM,即技嘉制造的 @NVIDIAAI DGX Spark。配备GB10和128 GB统一内存。

三个图像模型

堆栈的图像侧最终由三个模型组成,每个模型承担不同的任务。它们都通过ComfyUI运行,启动日志确认了硬件路径:Native ops: … nvfp4。

FLUX.2-dev NVFP4(官方 @bfl_ai 检查点)负责高要求的工作。这是一个320亿参数的模型,在BF16下会占用64 GB;量化后,它只占用 21.7 GB,使用Turbo LoRA以8步渲染1024²图像用时 22.8秒

Qwen-Image-2512 Lightning(@Alibaba_Qwen,使用lightx2v 4步蒸馏)是我在本地用过的最强文字渲染器。我让它生成一张装饰艺术风格的旅行海报,包含一个标题行和一个标语行,第一次尝试就正确输出了这两行。它以原生1328²分辨率生成,用时 11.1秒

Z-Image-Turbo NVFP4(@Ali_TongyiLab)是快速模型:每张1024²图像仅需 5.7秒。这个速度足以在不打断思路的情况下探索种子和提示词变体,从而改变了工具的实际使用体验。

视频(同时生成音频)

LTX-2.3 22B NVFP4是官方 @Lightricks / @LTX_studio 检查点,也是这台机器上最有趣的模型。它在一个扩散步骤中同时生成视频和同步音频,因此生成的片段自带火焰噼啪声、雨声或室内环境音。

在Spark上,生成4秒768×512分辨率、24fps的视频,模型预热后需要 27秒。这个22B transformer模型占用 16.7 GB。在1152×768分辨率下,每个片段大约需要73秒,这意味着制作一个8个镜头、29秒的短片大约需要10分钟的GPU时间。

我可以证明这个估算,因为这台机器昨天制作了两部短片。种子静图来自FLUX.2和Qwen,运动和声音来自LTX,用ffmpeg编辑,全部在同一台机器上完成。其中一部就是本文开头展示的短片。

整个堆栈全部为4位量化,包括文本编码器:FLUX.2使用 @MistralAI Mistral-3-Small,LTX使用 @GoogleDeepMind 的 Gemma-3-12B,Z-Image使用 Qwen3-4B,全部以FP4混合形式存在,并通过CUDA 13 CUTLASS分发到张量核心FP4路径。

实际效果是:同一台机器还通过vLLM提供 Qwen3.6-27B-NVFP4 作为兼容OpenAI的端点,并且较小的图像模型可以在服务期间同时生成。昨天,当27B模型占用68 GB并持续应答请求时,一个Z-Image渲染在12秒内完成。对于较大的模型,一个绑定 @tailscale 的小型Web控制台可以启动和停止各个堆栈,以便需要内存的堆栈可以获取资源。

使用到的三个软件:

  • comfy-kitchen(ComfyUI的内核层,在aarch64上提供原生NVFP4运算);
  • comfy-aimdo(其DynamicVRAM按需加载权重,而非固定常驻);
  • 以及三个在此硬件上重要的启动标志:跳过 –gpu-only、禁用固定内存、关闭 @PyTorch 缓存分配器。

测试结果:

所有测量均在此机器上进行,2026年7月6日。Warm指模型已常驻内存;cold包括首次加载权重。

  • FLUX.2-dev NVFP4 (32B), 1024², 8步: 22.8秒 预热, 50.8秒 冷启
  • Qwen-Image-2512 Lightning (20B), 1328², 4步: 11.1秒 预热, 20.9秒 冷启
  • Z-Image-Turbo NVFP4 (6B), 1024², 8步: 5.7秒 预热, 8.0秒 冷启
  • LTX-2.3 NVFP4 (22B), 4秒视频含音频: 27.1秒 预热, 49.9秒 冷启

一个32B图像模型、一个22B音频视频模型和一个27B语言模型,全部量化为4位,都在一台小型台式机上运行良好。包含所有下载和启动命令的完整复现指南在配套文章中。

P.S. @nvidia @GIGABYTEUSA:如果你们哪位有闲置的ATOM,这台机器白天制作短片,晚上运行27B模型,我还有一长串两台ATOM通过ConnectX-7能做的事情。只是说说而已。

相似文章