A 124B 在单台 DGX Spark 上单次响应生成了 15,128 个 token,解码速度全程保持 35.62 → 35.68 tok/s

Reddit r/LocalLLaMA 新闻

摘要

对 Ling-3.0-flash (124B) 在单台 DGX Spark 上单次响应生成 15,128 个 token 的观察,解码吞吐稳定在约 35.6 tok/s,凸显了长上下文解码性能。

这是一次吞吐量观察,而非简单演示。机器和录屏来自 X 上的 sudoingX,经其同意后分享;我在 inclusionAI 参与 Ling 的开发。他在自己的 llama-server 的 Web UI 中输入了一个 33 token 的提示词——构建一个 GPU 监控仪表盘前端,使用虚拟数据,高端设计——然后让它运行。运行的是社区 Q5 GGUF 版本的 Ling-3.0-flash,单台 Spark。机器上除了 Xorg 没有其他负载。单次响应,无多轮对话:评估时间 = 424035.62 ms / 15128 tokens(每 token 28.03 ms,每秒 35.68 tokens),截断 = 0。总时间并不是有趣的部分。在 n_decoded 为 2793 时,日志显示 35.62 t/s。到 15062 时,显示 35.68。又增加了 12000 个 token 的 KV 缓存,解码速度依然稳定。生成的结果是一个基于模拟数据的仪表盘前端——使用 Math.random() 漂移,以及该机器并不存在的两块 GPU。这正是他要求的,所以不算失误,但它并没有读取真实的 GPU,而且“虚拟”这个词就明明白白地显示在屏幕上的提示词中。生成了七分钟。除了它能正常渲染之外,我无法对输出做连贯性检查。
查看原文

相似文章