标签
AcrossVAM2.0 提出一种冲突感知的点对应监督方法,用于参数高效的视频扩散模型适配,通过置信度加权跟踪头、零初始化残差反馈和非对称 PCGrad,在保持预训练外观先验的同时提升对应一致性,但并不均匀改善视频质量。
Gen4P 将预训练视频生成器改造为前馈式 4D 感知器,通过单次编码与按需交叉注意力解码,从单目视频中预测几何与运动,并在 3D 点跟踪、视频深度和相机位姿估计上达到最先进或具有竞争力的性能。
Cepheid 提出将残差结构与物理尺度解耦,通过学习无量纲先验并从可观测量估计幅度,实现跨几何家族的稀疏到稠密运动补全,在未见过的布料和腿部动物等家族上超越谐波扩展方法,无需重训练即可应用于点跟踪动物视频和机器人抓取软体。
MVTrack4Gen提出了一种训练框架,利用多视角点跟踪作为几何监督来增强运动感知扩散模型,在从单目视频生成新视角视频中实现了最先进的几何一致性和运动保真度。
Go-with-the-Track 使用点轨迹嵌入与空间感知编码及视频扩散变压器,统一了视频生成中的运动控制与参考图像合成,在单一模型中实现了卓越的运动与参考控制。