论文页面 - 4DAnyone：从任意单目视频创建4D人物

来源：https://huggingface.co/papers/2608.20335

摘要

4DAnyone通过生成多视角一致性视频并将其提升至4D高斯泼溅重建单目视频中的人物，利用参考与目标上下文设计解决了扩展瓶颈。

我们提出4DAnyone，一种从未经校准的单目视频重建4D人物的框架。该方法通过生成重建级多视角一致性视频，并将其提升至4D高斯泼溅（4DGS）来实现目标。现有相机控制视频扩散模型能生成合理的新视角视频，但当扩展至4DGS重建所需的数十个目标视角时，无法保持一致性。我们发现这一失败源于“有界注意力上下文“问题：当目标视角数量超过单次DiT前向传播的容量时，必须分组处理，从而暴露出两个耦合瓶颈。在参考上下文方面，基于所有已生成视角的条件控制复杂度呈O(N)增长，削弱了跨视角外观引导能力；在目标上下文方面，不相交的分组无法直接交换信息，导致全局结构漂移。4DAnyone通过两个互补设计解决上述瓶颈：参考上下文打包将不断增长的参考视角压缩为固定长度的混合分辨率上下文，使参考上下文复杂度降为O(1)；目标上下文路由在去噪过程中轮转目标视角分组，在高噪声步骤共享跨分组上下文，在低噪声步骤稳定细节。我们进一步使用自研游戏引擎构建MVGameHuman数据集，并结合光场和野外视频数据集进行训练。DNA-Rendering和DyMVHumans上的实验表明，4DAnyone在新视角视频质量和下游4DGS重建方面均优于现有方法，并具有强大的野外泛化能力。项目主页提供视频结果与源代码：https://4danyone.github.io。

查看arXiv页面 (https://arxiv.org/abs/2608.20335) | 查看PDF (https://arxiv.org/pdf/2608.20335) | 项目主页 (https://4danyone.github.io/) | GitHub20 (https://github.com/ant-research/4DAnyone) | 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.20335)

通过智能助手获取本文：
hf papers read 2608.20335

尚未安装最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型1

AntResearch/4DAnyone 视频到视频 • 约1小时前更新 • 1 (https://huggingface.co/AntResearch/4DAnyone)

引用本文的数据集0

暂无关联数据集
在数据集的README.md中引用 arxiv.org/abs/2608.20335 即可从本页关联。

引用本文的Space0

暂无关联Space
在Space的README.md中引用 arxiv.org/abs/2608.20335 即可从本页关联。

包含本文的收藏0

暂无包含本文的收藏
将本文添加至收藏 (https://huggingface.co/new-collection) 即可从本页关联。