标签
论文提出了 Video-Point Model (VPM),这是一个世界模型,能够基于视频历史和语言指令,联合预测多视角视频与 3D 点轨迹,从而提升四维预测的保真度,并通过共享的 3D 感知表征提高机器人操作的成功率。
GeoFix提出了一种统一框架,通过单一几何奖励提升4D生成中的几何一致性和视觉质量,该奖励衡量静态区域的跨视角深度一致性,并针对视角重叠效应进行校准,实现了WorldScore 3D一致性提升39%和VBench质量提升4%。
本文介绍了Latent-to-4D,一种直接从视频扩散潜变量生成4D场景的方法,无需跨生成器重新训练,在几何和时间稳定性上优于级联方法。
Hallo4D是一个模型无关框架,利用大型多模态语言模型检测和纠正3D与4D生成中的空间和时间幻觉,在无需重新训练的情况下改善跨视角和时间的一致性。
PhyGenHOI是一个新颖框架,通过将运动扩散模型与物质点方法模拟相结合,利用3D高斯表示生成物理精确的4D人-物交互。
Helix4D 提出了一种从视频生成高质量动态4D网格的框架,通过扩展Trellis2,引入跨帧注意力机制和4D时间编码,在不增加参数的情况下重新利用冗余的空间RoPE频带,从而实现这一目标。