在一台 DGX Spark 上对 124B 模型进行了一周基准测试并全部公开——他找到的最快路径为 38.7 tok/s,比同机上的 DeepSeek V4 Flash 快 2.4 倍

Reddit r/LocalLLaMA 新闻

摘要

sudoingX 的一项独立基准测试显示,在澄清官方 INT4 量化确实可用之后,Ling-3.0-flash 模型在单台 DGX Spark 上的运行速度为 38.7 tok/s,比同硬件上的 DeepSeek V4 Flash 快 2.4 倍。

sudoingX 在 X 上花了一周时间做这件事,并发布了总结。硬件是他自己的。他并非我们团队的人,发布之前我们也没看过任何内容——我在 inclusionAI 负责 Ling。他在单台 Spark 上得出的结果是:官方 INT4 配置正确后达到 38.7 tok/s,社区 GGUF 为 35.2 tok/s,是同机 DeepSeek V4 Flash 的 2.4 倍。他的原话是,Ling-3.0-flash 在他的机器上赢得了一个永久席位。让我注意的是中间的那条更正。他之前发帖说我们的官方量化在单台 Spark 上跑不起来。两天后他又发帖说其实能跑,而且是他现在最快的方法,并引用自己之前的帖子来说明这一点。他的时间线上大多数数字旁边都标注了方法,所以你不必只听我的一面之词。一台 Spark,一个人,超过一周。他搞这个的时间比我关注这件事的时间还长。
查看原文

相似文章

Deepseek V4 flash 在 DGX Spark 上的性能

Reddit r/LocalLLaMA

一位 Reddit 用户分享了在双华硕 GX10 DGX Spark 配置上运行 DeepSeek V4 Flash 的经验,详细介绍了性能指标、配置和功耗,并提供了不同上下文长度下的吞吐量基准测试结果。

Ling-3.0-flash MXFP4 发布,并在单个 DGX Spark 上本地运行。

Reddit r/LocalLLaMA

Ling-3.0-flash MXFP4 是一款量化模型,已发布并可在单个 DGX Spark 上本地运行,实现约 80 tok/s 的解码速度和 2,500–3,500 tok/s 的长输入预填充速度,从而为编码、智能体和离线批处理任务提供私有的设备端推理。