@wafer_ai: 6家NVIDIA竞争对手都发现了CUDA的同一个弱点 @gpuemi 撰写了关于6家NVIDIA竞争对手的深度分析。不同的...

6家NVIDIA竞争对手都发现了CUDA的同一个弱点 @gpuemi 撰写了关于6家NVIDIA竞争对手的深度分析。不同的团队、架构甚至国家，但所有6家都独立得出了关于CUDA问题的相似结论： 每一家都取消了硬件缓存。 Tenstorrent、Cerebras、Trainium、TPU、SambaNova、Furiosa 都使用软件管理的 SRAM，没有硬件缓存。NVIDIA 是唯一仍在使用 L1/L2 的主要 AI 芯片制造商。其赌注在于，AI 工作负载的访问模式足够可预测，以至于投机缓存是浪费硅片。如果每个字节都显式放置，就永远不会出现缓存未命中的代价。 每一家都放弃了线程。CUDA 的线程/线程束/线程块模型之所以存在，是因为 GPU 最初是为图形而构建的，你不知道哪些像素需要更多工作。AI 工作负载是规则的。矩阵乘法、注意力机制、MoE 路由，这些访问模式完全可预测。 Tenstorrent 使用生产者-消费者流水线。Cerebras 使用基于小波的数据流。Trainium 编写顺序代码，让编译器提取并行性。TPU 在宽向量单元上顺序执行。SambaNova 空间映射到芯片上。Furiosa 直接编译张量收缩。六个解决方案都一致认为线程是 AI 的错误抽象。 大多数芯片完全消除了同步机制。__syncthreads()、原子操作、屏障、竞态条件，这可以说是GPU编程中最难的部分。 Cerebras 不需要同步，因为数据流本质上是顺序的。 TPU 不需要，因为执行是顺序的。 SambaNova 不需要，因为流水线是空间的。 Tenstorrent 用循环缓冲区取代了它。 所有六款芯片都在层之间将数据保留在片上。在 GPU 上，每个 transformer 层从 HBM 读取并写回 HBM。在这些芯片上，数据留在 SRAM 中，直接流向下一个操作。 还形成了一个清晰的谱系。Tenstorrent 提供了一个完整的 C++ 内核 SDK。Trainium 和 TPU 提供 Python DSL。SambaNova 和 Furiosa 目前根本不提供内核 API，但 Furiosa 计划在未来几个月内向开发者社区提供低级编程 API（内核级）和高级 API（DSL 级）。 通常，控制越多 = 上限越高但编程越难。控制越少 = 受编译器支配。