RTX Spark 没有 600GB/s 带宽

Reddit r/LocalLLaMA 新闻

摘要

更正说明:RTX Spark 没有 600GB/s 带宽;该数字实际上是 NvLink 速度,如 Computex 幻灯片所示。

查看 Computex 的幻灯片。所有报道 600GB/s 的媒体完全错误。正如这里所有人所说,那是 NvLink 速度。
查看原文

相似文章

NVIDIA RTX Spark — 轻薄笔记本与小型台式机

Reddit r/LocalLLaMA

NVIDIA 发布 RTX Spark 超级芯片,将 AI 与 RTX 图形技术集成于单一芯片中,适用于轻薄笔记本和小型台式机,支持 AI 开发、创意工作与游戏,配备高达 128GB 统一内存,并原生支持 CUDA。

NVLink 何时值得使用?

Hacker News Top

在双 RTX 3090 上测试 NVLink 用于 AI 推理和训练,发现张量并行提示处理(30%)和 FSDP 训练(3 倍)有显著加速,但对令牌生成或分层推理影响极小。