Ling-3.0-flash MXFP4 发布，并在单个 DGX Spark 上本地运行。
摘要
Ling-3.0-flash MXFP4 是一款量化模型，已发布并可在单个 DGX Spark 上本地运行，实现约 80 tok/s 的解码速度和 2,500–3,500 tok/s 的长输入预填充速度，从而为编码、智能体和离线批处理任务提供私有的设备端推理。
相似文章
使用 llama.cpp RPC 将 Ling 3.1 Flash (560B MoE) 分布在 4 台 DGX Spark 上加载运行
一位用户使用 Atomic Chat 的 Q4 GGUF 构建，通过 llama.cpp RPC 将 5600 亿参数的 Ling 3.1 Flash（25B 激活参数）MoE 模型分布在四台 DGX Spark 上加载运行，因为当时没有官方的 FP4 vLLM 构建版本。与 Ling 3.0 Flash 124B 的性能对比测试仍在等待中。
AntLing 发布了用于 Ling-3.0-flash 的 dspark 草稿模型
AntLing 开源了 Ling-3.0-flash-dspark，这是一个用于 Ling-3.0-flash 的 DSpark 草稿模型，在 NVIDIA Blackwell GPU 上以低延迟实现了每秒 1,120 个 token 的速度。
在一台 DGX Spark 上对 124B 模型进行了一周基准测试并全部公开——他找到的最快路径为 38.7 tok/s，比同机上的 DeepSeek V4 Flash 快 2.4 倍
sudoingX 的一项独立基准测试显示，在澄清官方 INT4 量化确实可用之后，Ling-3.0-flash 模型在单台 DGX Spark 上的运行速度为 38.7 tok/s，比同硬件上的 DeepSeek V4 Flash 快 2.4 倍。
两个标志将官方Ling-3.0-flash INT4在单个DGX Spark上的推理速度从20.8提升到38.7 tok/s
本文介绍了两个配置标志，它们将官方Ling-3.0-flash INT4在单个DGX Spark上的推理速度从20.8 tok/s提升到38.7 tok/s，同时提醒需要使用特定的vLLM分支，并指出在长上下文性能方面的权衡。
Ling-3.0-tiny 是个非常有趣的模型。它可以在 NVIDIA Orin Nano Super 8GB 上运行，支持 128K 上下文并采用 IQ4_NL 量化技术。
本文展示了在NVIDIA Orin Nano Super 8GB设备上运行Ling-3.0-tiny AI模型的实例，采用IQ4_NL量化方案，实现33 tok/s解码速度与完整128K上下文长度，体现了边缘AI的实际部署能力。