Nvidia Vera Rubin 是否真的能加速 LLM 预训练？接下来会是 10 万亿以上参数的模型吗？
摘要
文章质疑 Nvidia 的 Vera Rubin 是否会加速 LLM 预训练，并探讨了考虑到数据、电力和成本等限制，超过 10 万亿参数的模型是否可行。
Nvidia Vera Rubin 的数字看起来很大，但大部分头条收益似乎与低精度格式和推理有关。其中有多少实际上能转移到预训练中？也好奇我们是否会开始看到 10T+ 参数模型，或者数据、电力和成本现在是真正的限制，而重点仍然放在 MoE 和更好的数据上，而不是仅仅变得更大。任何有硬件或训练经验的人，我很想听听你的看法。
相似文章
NVIDIA Vera Rubin 在训练后工作负载中最大化每美元智能——代理式AI的关键指标
NVIDIA 推出了 Vera Rubin，这是一种新架构，旨在最大化训练后工作负载的每美元智能，通过优化每 Token 成本和支持大规模强化学习，满足代理式AI的持续学习需求。
Nous Research 发布 Token Superposition Training，可将 LLM 预训练速度提升高达 2.5 倍，覆盖 270M 至 10B 参数模型
Nous Research 发布 Token Superposition Training (TST)，这是一种可将 LLM 预训练速度提升高达 2.5 倍的方法，覆盖 270M 至 10B 参数模型，在不改变架构或数据的情况下减少实际运行时间。
每瓦功耗工作量提升高达30倍：NVIDIA Vera Rubin NVL72为AI智能体树立新能效标准
NVIDIA Vera Rubin NVL72系统在智能体AI工作负载中，展现出每兆瓦吞吐量提升高达30倍的性能，为AI基础设施设定了新的效率标准。
@LiorOnAI：现在你可以将任何LLM转换成更快的版本，而无需从头重新训练。NVIDIA刚刚在他们30B的模型上实现了这一点。她…
NVIDIA提出了一种方法，将任何LLM转换为更快的版本，方法是将模型拆分为两个副本：一个冻结用于上下文，另一个训练用于并行生成多个token，实现了2.4倍加速，且质量保留约99%，仅使用了8%的训练数据。
NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中展现出领先性能
NVIDIA 的 Vera Rubin NVL72 系统在 MLPerf Inference v6.1 中首次亮相，展现出领先性能。在 DeepSeek-R1 和 Qwen3-VL 等基准测试中，其吞吐量比 GB300 NVL72 最高提升达 3.7 倍。该系统强调系统性能、扩展效率以及软件优化。