@WilliamBarrHeld: 要训练更好的开源模型，我们需要可预测的缩放。Delphi 是 Marin 迈出的第一步：我们预训练了许多小模型……

X AI KOLs Following 论文
open-source scaling-laws model-training llm-research predictive-scaling

摘要

由 William Barr Held 领导的 Marin AI 研究团队推出了 Delphi，这是一种通过预训练小模型来准确预测更大规模 25B 参数训练结果的方法论。该研究旨在建立可预测的缩放规律，以实现更高效的人工智能开源模型开发。

要训练更好的开源模型，我们需要可预测的缩放。 Delphi 是 Marin 迈出的第一步：我们使用同一套方案预训练了许多小模型，然后外推 300 倍，以仅 0.2% 的误差预测了 25B 参数 / 600B token 的训练任务。 为此我们付出了不少努力 🧵 https://t.co/HmlVFl11ag
查看原文
查看缓存全文

缓存时间: 2026/05/11 20:43

为了训练更好的开源模型，我们需要可预测的扩展性。

Delphi 是 Marin 迈出的第一步：我们使用同一套配方预训练了许多小型模型，随后进行了 300 倍外推，以预测一次 25B 参数 / 600B Token 的训练任务，误差仅为 0.2%。

为此我们付出了不少努力 🧵 https://t.co/HmlVFl11ag

相似文章