标签
据称 Amazon 正在取消 GPU 和计算硬件订单,并在某些情况下直接关闭客户账户,Epic 的 Tim Sweeney 就是受影响的用户之一。目前尚不清楚这些取消订单的行为是源于系统故障,还是在 AI 硬件需求高涨背景下推出的反黄牛政策。
一位律师兼 PLI Labs 创始人公布了完整的基准测试数据:在两台 DGX Spark 上运行 DeepSeek-V4.1-Flash-1017(2.75 bpw EXL3),并由一台搭载 3090 的主机负责通过 RDMA 提供的表以及推测解码草稿模型,在上下文长度高达 256K 时实现超过 2,600 tok/s 的预填充速度,结构化输出速度达到 322 tok/s。所有代码、启动脚本和原始 JSON 均已公开,作者也坦率指出了自己的配置在哪些方面不如其他双 Spark 配置。
@NVIDIARTXSpark 分享了三种加速 NVIDIA DGX Spark 上混合专家模型(MoE)推理的技术,涵盖优化内核、FP8 量化和多 token 预测,以提升每秒 token 吞吐量。
NVIDIA 的这篇技术博客介绍了在 DGX Spark 上加速 Ling-3.0-flash 混合专家(MoE)模型推理的三种优化技术:Humming MXFP4 MoE 内核、语言模型输出头的在线 FP8 量化,以及基于 NEXTN 的多词元预测投机解码,并分析了组合配置下的集成问题。
作者分享使用 DeepSeek V4.1 Flash(EXL3 2.9 bpw,2x DGX Spark,TP2)作为实现代理、配合独立审查代理开发真实功能的实践经验,指出其报告有时会超出实际证据。
一位用户使用 Atomic Chat 的 Q4 GGUF 构建,通过 llama.cpp RPC 将 5600 亿参数的 Ling 3.1 Flash(25B 激活参数)MoE 模型分布在四台 DGX Spark 上加载运行,因为当时没有官方的 FP4 vLLM 构建版本。与 Ling 3.0 Flash 124B 的性能对比测试仍在等待中。
Ahmad 分享了如何通过 Mikrotik CRS804-4DDQ 1.6Tbps 交换机,将 4 条 400G QSFP-DD 拆分为 2x200G QSFP56,连接 8 台配备 ConnectX-7 的 DGX Spark,实现 1.6Tbps 全速互联的集群方案。
一条简短的推文,询问如何在不使用网络交换机的情况下连接 4 台 NVIDIA DGX Spark,可能用于评估环境搭建。
用户提到6月购买的GPU和DGX Spark价格至少上涨了1.5倍,并指出本地AI加速的性能数据很明确。
一位用户分享了购买两台 Nvidia DGX Spark(约6100美元/台)的经历,用于学习和编程工作流,并询问 GLM 5.3 flash 的本地部署配方以及 Nvidia 论坛是否是获取相关资讯的最佳渠道。
对三个本地模型——GLM 5.3 Flash、DeepSeek V4.1 和 Qwen 3.8 Flash Next——进行正面对比:每个模型都在 DGX Sparks 上生成一个具有电影质感的 3D Three.js 螺旋星系 HTML 文件,并统计 token 数、生成时间、吞吐量和所需修复。
Reddit r/LocalLLaMA 上一位用户正在权衡:是否值得花费约 14,000 美元购置本地硬件——**Mac Studio M5 Ultra(配备 512GB 统一内存)**还是 **2 台 Nvidia DGX Spark**——用于运行大型模型执行 Agentic 编码任务;亦或继续每月支付 500 美元以上的云端 API 费用,并忍受速率限制。
一位双 DGX Spark 用户报告称,全新的 GLM 5.3 Flash 方案带来了 50-90% 的解码速度提升,在本地硬件上不仅比 DeepSeek v4.0 Flash 更快,推理质量也更好。
一位开发者展示了一个完全本地运行的跑酷模拟程序,使用在 2 台 DGX Spark 上运行的 GLM 5.3 Flash,搭配 vLLM TP2 配置,报告在 100k 上下文下预填充约 1500 t/s、解码约 40 t/s,并称赞了该模型在代码、视觉和 3D 理解方面的能力。他分享了 vLLM NVFP4 配置仓库,供其他人复现这一环境。
一位开发者讲述了自己的本地AI设置如何从一块RTX 3090扩展到横跨两栋房子的16+台DGX Spark(GB10)集群,从而完全在本地运行Kimi K3(2.8T参数)和MiMo 2.5 Pro等模型的300k上下文推理,无需订阅任何商业模型服务。
一条推文,评论了 NVIDIA DGX Spark 价格上涨的原因,并附上了关于该话题的外部资源链接。
一位用户分享自己花了 6 万美元购买 12 台 DGX Spark,以便在本地运行接近前沿水平的 AI 模型。此前有消息称 NVIDIA 发布了新版 64GB DGX Spark,且所有型号价格均有所上涨。
NVIDIA 推出 DGX Spark 个人 AI 超级计算机的 64GB 配置,通过 Dell、HP、ASUS 等合作伙伴进行销售,并支持借助 NVIDIA Sync 组建集群,将内存池化至最多 128GB,可在本地运行参数规模高达 200B 的模型。
有买家反映 NVIDIA DGX Spark 难以买到,价格似乎在一周内上涨了约 $2,000,当地 Micro Center 的库存一夜之间售罄,引发关于供货分配的疑问。
两套社区推理栈在同一对 NVIDIA DGX Spark 上运行 320B GLM-5.3-Flash 的对比测试,比较 Entrpi 的 EXL3 方案与使用 DFlash2 草稿模型的 TensorFold 在文本、代码及预填充负载下的表现。