@AndrewYNg:在捍卫人工智能开放性的斗争中,Marin项目是模型训练开放性的一个宝贵示范,…
摘要
Andrew Ng 强调 Marin 项目是人工智能模型训练开放性的一个宝贵范例,Percy Liang 宣布使用开放代码、数据和流程开始训练 Marin 535B-A23B。
查看缓存全文
缓存时间: 2026/08/24 05:49
在捍卫人工智能开放性的斗争中,Marin项目通过公开代码、数据、配方乃至实验结果,成为展示模型训练开放性的宝贵范例。曾经公开发布人工智能研究成果是常态;我非常感谢@percyliang秉持的开放实验室理念。
Percy Liang (@percyliang): 🚢 Marin 535B-A23B 本周开始训练!照例,整个过程保持公开。 航行计划:在11台x GB200 NVL72上使用18.75万亿token进行预训练(80%)+中期训练(20%),耗时约3个月(2.7e24 FLOPs)。后续将进行后训练。 正式启程前,我们已训练了一个四层级
相似文章
@percyliang: Marin 535B-A23B本周开始训练!一如既往,整个过程是开放的。航行计划:预训练(80%)+中训练…
Marin 535B-A23B AI模型的训练已开始,过程开放,涉及在GB200 NVL72硬件上使用18.75万亿tokens进行预训练和中训练,历时约3个月。
@dlwh: 自从 Marin 启动我们的 535B/A23B MoE 关键训练运行以来,已经过去了几周。到目前为止,一切顺利得几乎无聊。它还…
Open Athena 推出了一次 535B/A23B MoE 模型训练运行,进展如预期,突显了他们对开放发展的承诺以及在AI扩展方面的重大进展。
@andykonwinski: 我忍不住要一直关注这个。Marin团队正在训练史上最大的完全开放模型。535B参数(23B活跃…
Marin团队正在训练最大的完全开放模型,拥有535B参数,通过实时跟踪和开放数据日志提供前所未有的透明度。
@rohanpaul_ai: 确实是一个公平的观点,来自@naval:如果AI公司(Anthropic/OpenAI)在开放网络上训练数据,或许它们应该被要求…
Naval Ravikant建议,基于开放网络数据训练的AI公司应在一定期限后开放其模型,以防止垄断控制并确保公平访问。
@WilliamBarrHeld: 要训练更好的开源模型,我们需要可预测的缩放。Delphi 是 Marin 迈出的第一步:我们预训练了许多小模型……
由 William Barr Held 领导的 Marin AI 研究团队推出了 Delphi,这是一种通过预训练小模型来准确预测更大规模 25B 参数训练结果的方法论。该研究旨在建立可预测的缩放规律,以实现更高效的人工智能开源模型开发。