@percyliang：Marin 535B-A23B 的训练已过半！以下是目前的一些观察和心得：

X AI KOLs Timeline 模型
open-source language-model training scaling mixture-of-experts

摘要

Percy Liang 报告称 Marin 535B-A23B 模型的训练已过半，并分享了这次大规模训练过程中的一些观察和心得。

🚢Marin 535B-A23B 的训练已过半！以下是目前的一些观察和心得：https://t.co/tNhEWle6Mp
查看原文
查看缓存全文

缓存时间: 2026/10/08 13:11

🚢 Marin 535B-A23B 训练进度已过半！以下是目前的一些观察和心得：

训练刚启动时，多人仔细审查了我们的代码，并发现 MuonH 优化器可能存在一个 bug（后来证明并没有问题）。这正是开放开发的力量所在：只要有足够多的人审视，所有 bug 都会无所遁形（Linus 定律）。https://github.com/marin-community/marin/issues/8621…

之后我们发现门控注意力归一化值大幅上升，其趋势偏离了我们的 scaling ladder 预测。Loss 仍在下降，进展正常，但为了保险起见，我们在训练中途加入了少量权重衰减（weight decay），抑制了这一增长趋势：https://github.com/marin-community/marin/issues/8818…

训练开始时，我们的 MFU 为 21%。在训练过程中，我们不断迭代更好的内核（Ragged EP、FA4 注意力内核），将 MFU 提升到了 27%，并把 MoE 丢弃率降低到了接近零。

我们还调整了数据混合比例，提升了计算效率，并修复了一些基础设施问题。到目前为止所有训练中途的变更都记录在这份 wandb 报告中：https://forge.coreweave.com/wandb/marin-community/marin_moe/reports/535B-A23B-18T-Token-Hero-Run-Scaling-Ladder–VmlldzoxNzc2MDM5Ng…

一如既往，我们会对（留出集）loss 进行预测。目前看来整体趋势基本吻合：🤞

如果你想了解更多，所有内容都在 GitHub 上（https://github.com/marin-community/marin/…），也可以来 Discord（https://discord.com/invite/J9CTk7pqcM…）和我们交流，那里有活跃的讨论。我们还会定期举办双周会议，深入探讨技术栈的各个方面，欢迎 Marin 社区的所有人参加。

最近模型发布令人目不暇接。Marin 项目的目的并不是简单地再产出一个模型。它甚至不只是开放一个训练顶级模型的静态配方。它要开放的是探索的动态过程——如何提出假设、应该监控什么、如何根据实验结果做出反应的流程知识……即前沿模型开发背后的科学（如果目前还能称之为科学的话）。

相似文章