使用 llama.cpp RPC 将 Ling 3.1 Flash (560B MoE) 分布在 4 台 DGX Spark 上加载运行

Reddit r/LocalLLaMA 模型
large-language-model mixture-of-experts llama-cpp dgx-spark gguf quantization open-weights

摘要

一位用户使用 Atomic Chat 的 Q4 GGUF 构建，通过 llama.cpp RPC 将 5600 亿参数的 Ling 3.1 Flash（25B 激活参数）MoE 模型分布在四台 DGX Spark 上加载运行，因为当时没有官方的 FP4 vLLM 构建版本。与 Ling 3.0 Flash 124B 的性能对比测试仍在等待中。

sudoing 发帖称他已在四台 DGX Spark 上加载了 Ling 3.1 Flash。这是一个拥有 5600 亿参数的 MoE 模型，每个 token 激活 250 亿参数。他之前就很喜欢 Ling 系列模型，想测试一下这个新模型，但以他当时尝试的配置无法在自己的两台 Spark 上装下。后来一位德国用户让他使用了一个四台 Spark 的环境。他使用的是 Atomic Chat 首日发布的 Q4 GGUF 版本，通过 llama.cpp RPC 分布在所有四台机器上运行。据他发帖所述，当时没有官方的 vLLM FP4 构建版本可用，所以他才选择了这条路线。截图中还没有性能数据。他预计带宽和速度会比较痛苦，但想看看与 124B 的 Ling 3.0 Flash 相比表现如何。这也是我感兴趣的对比：更大的模型在回答质量上有多大提升，以及实际使用中等待时间如何。供参考的链接：Atomic Chat 的 Ling 3.1 Flash GGUF 仓库 llama.cpp 官方 Ling 3.1 Flash 模型
查看原文

相似文章

Ling-3.0-flash MXFP4 发布，并在单个 DGX Spark 上本地运行。

Reddit r/LocalLLaMA

Ling-3.0-flash MXFP4 是一款量化模型，已发布并可在单个 DGX Spark 上本地运行，实现约 80 tok/s 的解码速度和 2,500–3,500 tok/s 的长输入预填充速度，从而为编码、智能体和离线批处理任务提供私有的设备端推理。

用 Ling 3.1 Flash 上手 12 小时

Reddit r/LocalLLaMA

作者抢先体验了 Ling 3.1 Flash——一款拥有 560B 参数、25B 激活参数的 MoE 模型，即将发布。他用这款模型打造了一件复杂的乐器，并期待正式发布后大家会用它做出什么。