标签
τ_0-WM是一个统一的视频-动作世界模型，用于机器人操作，它通过共享的视频扩散主干集成了策略学习、视频预测和动作评估。在具有挑战性的长周期和细粒度任务上表现出卓越性能。
本文系统地比较了基于重建和基于语义的潜在空间在机器人行动条件潜在扩散世界模型中的应用。研究发现，像V-JEPA 2.1这样的语义编码器在策略相关指标上通常优于重建编码器，从而主张将语义潜在空间作为机器人世界模型的更强基础。
CRONOS是一个基准测试，通过在保持物理事件类型不变的情况下对视角、场景、物体类别和外观进行干预，来评估视频预测模型的反事实物理一致性。它揭示了当前视频生成器的重大缺陷。
Re2Pix 是一个分层视频预测框架，通过首先使用冻结的视觉基础模型预测语义表征，然后将这些预测作为条件输入到潜在扩散模型中以生成逼真的帧，从而改进未来视频生成。该方法通过嵌套丢弃和混合监督策略解决了训练-测试不匹配问题，在自动驾驶基准测试中实现了更好的时间语义一致性和感知质量。