论文页面 - Gen4P：视频生成器即四维感知器

来源：https://huggingface.co/papers/2610.22371

摘要

Gen4P 将预训练的视频生成器改造为前馈式四维感知器，通过按需交叉注意力解码和冻结的深度先验，从单目视频中预测几何与运动.

我们提出 Gen4P，这是一个从单目视频 (https://huggingface.co/papers?q=monocular%20video)中恢复四维几何 (https://huggingface.co/papers?q=4D%20geometry)与运动的统一框架. 我们展示了如何将预训练的视频生成器 (https://huggingface.co/papers?q=video%20generator)改造为前馈式四维感知器 (https://huggingface.co/papers?q=feed-forward%204D%20perceiver)，而无需迭代去噪 (https://huggingface.co/papers?q=denoising). 基于按需查询，Gen4P 通过单次编码器前向计算处理干净的视频潜变量 (https://huggingface.co/papers?q=video%20latents)，并通过轻量级交叉注意力解码器 (https://huggingface.co/papers?q=cross-attention%20decoder)预测所请求的四维属性. 按需查询的形式支持灵活的空间采样，而我们提出的连续时间查询 (https://huggingface.co/papers?q=continuous-time%20queries)进一步提供了时间灵活性. 为增强几何知识，我们提出了一种简单的即插即用方案：将预训练的视频深度 LoRA (https://huggingface.co/papers?q=video-depth%20LoRA)作为冻结的几何先验 (https://huggingface.co/papers?q=geometry%20prior)引入，在不增加额外可训练参数的情况下提升整体性能. Gen4P 在三维点跟踪 (https://huggingface.co/papers?q=3D%20point%20tracking)、视频深度估计和相机位姿估计 (https://huggingface.co/papers?q=camera%20pose%20estimation)等任务中达到了最先进或具有竞争力的性能. 在真实场景视频上的定性结果表明，它能够在保持精细结构的同时跟踪复杂运动. 这些结果共同展示了视频生成式预训练在统一四维感知方面的潜力. 更多可视化结果请见 https://gen4p.github.io.

查看 arXiv 页面 (https://arxiv.org/abs/2610.22371)查看 PDF (https://arxiv.org/pdf/2610.22371)项目页面 (https://gen4p.github.io/)GitHub (https://github.com/yitongx/Gen4P)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.22371)

社区

论文作者

论文提交者

34 分钟前 (https://huggingface.co/papers/2610.22371#6ad1fc8a3472bccaf7c66133)

简而言之：Gen4P 将视频生成器改造用于前馈式四维感知，采用单次编码、支持空间灵活性的按需解码、支持时间灵活性的连续时间嵌入，以及作为即插即用几何先验的冻结深度 LoRA.

因此，Gen4P 在火烈鸟等具有挑战性的场景中实现了忠实的结构保持与运动跟踪.

更多结果请参阅https://gen4p.github.io/.

通过拖入文本输入框、粘贴或点击此处上传图像、音频和视频.

点击此处或在此粘贴以上传图像

引用此论文的模型0

暂无关联此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.22371，即可从此页面链接到该模型.

引用此论文的数据集0

暂无关联此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.22371，即可从此页面链接到该数据集.

引用此论文的 Spaces0

暂无关联此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.22371，即可从此页面链接到该 Space.

包含此论文的合集0

暂无包含此论文的合集

将此论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集.