我以不到150美元的成本从头训练了一个1.57B参数的Dreamer 4世界模型

Reddit r/LocalLLaMA 模型
world-model dreamer-4 low-cost-training ai-research procedural-generation video-generation

摘要

本文作者以不到150美元的成本从头训练了一个1.57B参数的Dreamer 4世界模型，展示了低成本AI模型训练的可行性，并使用程序生成的数据进行验证。

我的第一次尝试没有成功。我基于Genie的架构进行构建，视频看起来不错，但控制几乎没有效果。按键的效果基本上为零。Genie以无监督方式将其动作学习到8个代码中，这对我们来说控制太松散了。所以我放弃了它，并从头开始使用Dreamer 4。第二次尝试：Tokenizer达到40.41 PSNR（Genie的论文报告为35.7），FVD 32.19，端到端144帧后开始崩溃，1.57B参数，9.6M帧，约150美元。两个重要的发现：(1) 一是150美元就足够了。现在不再需要顶级实验室来做这件事了，而且我认为还没有足够多的人注意到这一点。(2) 另一个是数据。我们使用Procgen自己生成每一帧，而不是抓取视频。我们知道每一步的真实动作，因此我们可以实际检查模型是在响应我们还是仅仅在制作漂亮的动作。网站：https://worldmodel-platformer.vizuara.ai/ 代码：https://github.com/RajatDandekar/dreamer4-coinrun
查看原文

相似文章

@vintcessun: 预训练原来可以这么省？1B模型、~$1000就能从零训出可用的基础模型，计算和数据量直接砍掉数百倍。核心不靠堆算力，而是层次递归架构加上潜在空间推理，配合PrefixLM packing和FA3把效率拉满。有点离谱，但论文和代码都开源了。

X AI KOLs Timeline

HRM-Text发布了一个1B参数的基础模型，声称仅需约$1000即可从零完成预训练，计算量和数据量减少数百倍，采用层级递归架构、潜在空间推理和PrefixLM packing等高效技术，论文与代码均已开源。