双 DGX Spark 用户:GLM 5.3 Flash 性能提升 50% 以上
摘要
一位双 DGX Spark 用户报告称,全新的 GLM 5.3 Flash 方案带来了 50-90% 的解码速度提升,在本地硬件上不仅比 DeepSeek v4.0 Flash 更快,推理质量也更好。
过去几个月里,我一直在跑 DeepSeek v4.0 flash(NVFP4)。先是 0731 版本,后来换成 visionexp,因为那是免费的改进。解码速度大约 65 tps,prefill 接近 2k,同时并行运行 4-5 个 agent,累计解码大约 200 tps。正因如此,我当时并不想切换到 GLM 5.3,因为它会使解码和 prefill 减半、多 agent 扩展性不佳,还有一个很多人都抱怨的重复输出 bug。
直到几天前,这个方案的最新版本发布了——解码提升 50-90%。于是我咬牙一试,哇,效果令我惊叹。它比新的 DeepSeek v4.1 flash 更聪明(而后者无法在双 DGX Spark 上运行),解码速度甚至比 DeepSeek v4.0 flash 还快。prefill 只有轻微下降,而这我非常乐意接受。测试 visionexp-final(记录) glm53-low Δ B1 count-to-300 92.5 95.9 +4% B1 bulk SQL INSERT 88.3 97.2 +10% B2 chat 38.7 42.5 +10% B2 count 92.8 96.0 +3% B2 code 63.5 69.3 +9% B2 prose 32.8 37.1 +13% B2 tool 79.8 85.1 +7% B2 battery mean 61.5 66.0 +7% B2 accepted tok/step 3.26 of 6 (54%) 3.55 of 8 (44%) see note B3 prefill @1.5K 1738 1376 -21% B4 prefill @32K 1902 1576 -17% B4 prefill @128K 1758 1578 -10% B4 decode @32K 41.1 44.2 +7% B4 decode @128K 49.5 47.1 -5% B5 c1 aggregate 91.7 90.1 -2% B5 c2 aggregate 45.4 51.4 +13% B5 c4 aggregate 63.4 58.6 -7% B5 c6 aggregate 79.1 77.5 -2% B7 soak (40 min at c4) 522 req, 0 err, 87.4 agg 503 req, 0 err, 0 soft-empty, 83.6 agg −4% B8 byte-stable probes 8/8 6/8 worse B8 garble gate 30/30 clean 30/30 clean = B8 non-Latin / U+FFFD not measured 3/3 clean, 0 U+FFFD new gate KV pool 1,988,929 tok @ gmu 0.85 560,362 tok (6 GiB/rank pin) −72% NRestarts through the pass 0 0 = 我已经测试了好几天,既用于技术编码、DevOps/系统管理,也用于视觉任务(识别一些植物),效果远超我的预期。基本上达到了 Claude Opus 4.8 的水平。当然速度更慢,因为它需要思考得更多,但已经足够好,可以放心地让它跑上几个小时处理工单,而不必担心跑偏。我看不出有任何不升级的理由,试一试吧,享受吧!
相似文章
HumanEval基准测试:Deepseek V4 Flash 0731 对比 GLM5.3 Flash 在双DGX Spark配置上的表现
一项在双DGX Spark配置上的个人基准测试对比显示,GLM5.3 Flash在HumanEval上准确率更高,但上下文长度减小且速度较慢。
Deepseek V4 flash 在 DGX Spark 上的性能
一位 Reddit 用户分享了在双华硕 GX10 DGX Spark 配置上运行 DeepSeek V4 Flash 的经验,详细介绍了性能指标、配置和功耗,并提供了不同上下文长度下的吞吐量基准测试结果。
针对双GH200优化的DSv4-Flash:SGLang上PP达10,000 tok/s,TG超过300 tok/s
DeepSeek V4 Flash在双GH200工作站上的详细基准测试,比较了SGLang和vLLM在1M上下文长度下使用DSpark投机解码的表现,发现SGLang更快,约为317 tok/s对比276 tok/s。
@MiaAI_lab: 刚刚为您的 2 台 DGX Sparks 升级了 DeepSeek v4 Flash。单次每秒 66.6 tokens,6 个并发会话时可达 153.7 tokens/秒……
MiaAI Lab 发布了一项升级方案,用于在两台 DGX Spark 节点上使用 vLLM 结合 DSpark 推测解码和 NVFP4 KV-cache 来部署 DeepSeek V4 Flash,在六个并发会话中实现了高达 153.7 tokens/秒 的吞吐量。
@Ex0byt: 更新:通往GLM-5.2之路:我们快到了,各位!未量化、未剪枝的DeepSeek-v4-Flash。单台……上11 tok/s
关于在单台DGX Spark上使用sglang推理和自定义mega-kernel以11 tok/s运行未量化的DeepSeek-v4-Flash模型的更新,正在向GLM-5.2迈进。