标签
StrideWorld 是一个用于交互式视频世界模型的基准,在运动前固定参考几何结构和动作步幅,揭示出大多数模型会使场景变形,且无法完成组合路线,而只有按深度缩放指令的模型才能保持预期位置。
本文评估了冻结的视频表征,发现视频世界模型中的潜在预测误差反映的是外观和运动,而非可靠地衡量物理意外性,并提出了一个在 IntPhys2、Physion++ 和 Kubric 基准上将表征内容与误差信号分离的框架。
论文提出 MIST 评测方法,将场景搭建与变化执行分离,以诊断视频世界模型中的记忆失效问题;并提出 M3-Agent,通过递归修正指令将 MIST 揭示得分提升三倍,同时显著提高 WRBench 和 MBench-T 的成绩。
PPMem 是一种视频世界模型,以紧凑的平面基元作为持久化 3D 记忆,联合生成长时序连贯的视频,同时输出显式的度量深度、法线和可导出的表面,在 DL3DV 和 RealEstate10K 数据集上优于此前的 3D 基础世界模型。
CoWorld Reasoner 是一个利用视频世界模型作为灵活视觉推理引擎的智能体框架,通过引导视觉想象和工具协同进化,使视觉-语言模型在七个时空推理基准上取得显著提升(如 MMSI 相对提升 11.8%、ERQA 提升 13.0%)。
WorldMemBench 提出了一个用于系统评估视频世界模型世界记忆能力的基准,涵盖260个测试用例,分别考察静态记忆(人物、物体、环境的身份与几何保持)和动态记忆(事件演进与状态持续性)。对九个代表性模型的评估显示,强静态记忆并不意味着可靠的状态演化,且重复重访会暴露记忆退化问题。
HLA-WM 提出一种免训练的混合线性注意力框架,通过几何引导的检索与递归线性状态重组,缓解 GatedDeltaNet 在长时视频世界模型中的远距离遗忘问题。在 60 秒基准上,该方法以 12 倍内存节省同时提升了所有一致性与相机控制指标。
该论文提出了Honeycomb——一种基于HexMemory的视频世界模型。HexMemory是一种低秩、固定尺寸的场景记忆,由六个空间与时空平面构成,在长时程视频生成过程中保持恒定的存储开销,同时在WorldScore和RealEstate10K基准上展现出优异的生成质量与重访一致性。
QuantWM 提出一种免训练的 2-bit KV cache 量化框架,通过量化敏感性感知聚类(QSAC)与主子空间注意力补偿(PSAC)来稳定视频世界模型的注意力 logits,缓解时间闪烁与视觉退化,并在多个基准上实现最高 6.20 倍 KV cache 内存压缩。
SolarWM引入了一个开放框架和统一训练配方,用于通过跨多样数据源的可扩展训练构建交互式视频世界模型,从而实现长时程实时运行。
ForgeWM 是一个渐进式框架,它将双向视频生成器蒸馏为高效的少步数交互式世界模型,支持低延迟交互和重放时优化,在 Minecraft 和 FPS 游戏中展示了改进。
NVIDIA及其合作者的一项最佳论文研究引入了WorldTrace,这是一个无需训练的框架,通过分配固定的槽位秩位置,使自回归视频世界模型中的压缩记忆保持可寻址,从而实现连贯的长程生成和超越训练视野的长距离回忆。
Introduces Latent Dynamics Reasoning (LDR), a video world model that integrates kinematic dynamics in a structured latent space, enabling extrapolation of learned dynamics far beyond training distributions while using far fewer parameters and running much faster than video diffusion baselines.
本文介绍了WorldTrace,一种无需训练的记忆框架,用于长时程视频世界模型,使压缩缓存保持可寻址;同时引入了LoopBench,一个用于在长时间绕行后进行情景回想的基准测试。它在LoopBench上将时间一致性提升了+15.5%,情景回想提升了+19.5%。
HelloWorld是一个视频世界模型,支持社交互动角色,用户只需按一次按钮即可提示屏幕上的角色做出回应。它利用自蒸馏和无训练交叉注意力掩码来使互动自然化,并引入了用于评估的HelloWorldBench。
MiniWorld 是一个可复现的框架,用于从零训练视频世界模型,采用带流匹配的块因果视频扩散变换器,能够实现高效的流式生成,并可在单台 8-GPU 服务器上数天内完成训练。
ShadowDancer 提出了一种方法,通过从视频及其阴影中学习统一的动力学表征,实现交互式视频世界模型的任意动作、帧级控制,从而在没有标签或运动估计器的情况下实现可迁移的动作控制。实验表明,与基线相比,动作迁移和展开性能均有提升。
AlayaWorld 是一个用于构建可交互生成世界的开源框架,支持实时用户交互和多样化动作。该框架统一了从数据准备到部署的完整开发流程。
MemLearner 提出了一种基于学习的自适应上下文查询方法,使用查询令牌来改善视频世界模型中的场景一致性和记忆,特别适用于具有遮挡和动态物体的长序列。
Holo-World 提出了一种统一的可控视频世界模型,能够从单张图像生成视频,并显式控制相机、物体运动与天气。该工作引入了一个新颖的数据集与技术,可在将场景迁移至目标天气状态的同时保持场景结构。