@timodonnell: 想观看一个535B参数（23B活跃）的LLM实时训练吗？在这里跟随 https://wandb.ai/marin-community/ma…
摘要
一条推文宣布了535B参数（23B活跃）大语言模型的实时训练，并提供了在Weights & Biases和GitHub上跟踪进程的链接。
想观看一个535B参数（23B活跃）的LLM实时训练吗？在这里跟随 https://wandb.ai/marin-community/marin_moe/reports/535B-A23B-18T-Token-Hero-Run-Scaling-Ladder--VmlldzoxNzc2MDM5Ng… https://github.com/marin-community/marin/issues/8435…
相似文章
@percyliang: Marin 535B-A23B本周开始训练！一如既往，整个过程是开放的。航行计划：预训练（80%）+中训练…
Marin 535B-A23B AI模型的训练已开始，过程开放，涉及在GB200 NVL72硬件上使用18.75万亿tokens进行预训练和中训练，历时约3个月。
@andykonwinski: 我忍不住要一直关注这个。Marin团队正在训练史上最大的完全开放模型。535B参数（23B活跃…
Marin团队正在训练最大的完全开放模型，拥有535B参数，通过实时跟踪和开放数据日志提供前所未有的透明度。
@dlwh: 自从 Marin 启动我们的 535B/A23B MoE 关键训练运行以来，已经过去了几周。到目前为止，一切顺利得几乎无聊。它还…
Open Athena 推出了一次 535B/A23B MoE 模型训练运行，进展如预期，突显了他们对开放发展的承诺以及在AI扩展方面的重大进展。
@percyliang：Marin 535B-A23B 的训练已过半！以下是目前的一些观察和心得：
Percy Liang 报告称 Marin 535B-A23B 模型的训练已过半，并分享了这次大规模训练过程中的一些观察和心得。
@timoreilly: 即将与@mlpowered直播，讨论'AI的神经科学'。 https://learning.oreilly.com/live-events/crack…
Tim O’Reilly和Emmanuel Ameisen探讨AI的可解释性，重点讨论Claude等LLM中的世界模型以及Anthropic用于引导模型行为的工具。