基于时空注意力链的快速4D网格生成
摘要
一种基于时空注意力链的无需训练4D网格生成方法，将创建时间加速至9秒（13倍加速），同时提升时间一致性并扩展到更长的序列，具备零样本追踪和相机估计能力。
查看缓存全文
缓存时间: 2026/05/20 18:39
论文页面 - Fast 4D Mesh Generation by Spatio-Temporal Attention Chains
来源：https://huggingface.co/papers/2605.19786
发布于 5月19日
·
由
Samuel (https://huggingface.co/Dvir) 于 5月20日 提交
摘要
一种无需训练的4D网格生成方法，利用时空注意力链加速网格创建，同时提升时间对应质量，并支持可扩展的长序列处理。
4D网格生成 (https://huggingface.co/papers?q=4D%20mesh%20generation) 近期已成为从视频中恢复动态3D结构的强大范式，但现有方法速度慢、计算成本高，且难以扩展到更长序列。我们提出了一种无需训练的方法，在加速 4D网格生成 (https://huggingface.co/papers?q=4D%20mesh%20generation) 的同时改善时间对应质量。我们的关键发现是：在4D主干网络生成的网格视觉上变得准确之前，时间对应关系 (https://huggingface.co/papers?q=temporal%20correspondences) 早已在其内部涌现。我们利用这一发现，构建了一个名为 时空注意力链 (https://huggingface.co/papers?q=Spatio-Temporal%20Attention%20Chain) 的通用框架，在空间和时间上传播信息。从 锚定网格 (https://huggingface.co/papers?q=anchor%20mesh) 的顶点出发，该链将顶点映射到 潜变量令牌 (https://huggingface.co/papers?q=latent%20tokens) 上，随后沿潜变量空间中的 时间对应关系 (https://huggingface.co/papers?q=temporal%20correspondences) 进行追踪，并通过 潜变量到顶点注意力 (https://huggingface.co/papers?q=latent-to-vertex%20attention) 恢复特定帧的顶点。这种设计避免了昂贵显式匹配，同时保留了 锚定网格 (https://huggingface.co/papers?q=anchor%20mesh) 的细节，从而改善了动态网格几何形状和时间一致性。与最先进方法相比，我们的方法可在9秒内生成4D网格，实现13倍加速，同时生成更高质量的结果。此外，我们的方法可扩展到长达16倍的视频，且不降低网格质量。除了生成，改进的对应关系还使两种下游任务（2D目标跟踪 (https://huggingface.co/papers?q=2D%20object%20tracking) 和 4D跟踪 (https://huggingface.co/papers?q=4D%20tracking)）具备了有竞争力的零样本性能。我们还进一步证明，该框架能实现可靠的 相机估计 (https://huggingface.co/papers?q=camera%20estimation)，这一能力是先前 4D网格生成 (https://huggingface.co/papers?q=4D%20mesh%20generation) 方法所不具备的。
查看 arXiv 页面 (https://arxiv.org/abs/2605.19786) 查看 PDF (https://arxiv.org/pdf/2605.19786) 项目页面 (https://research.nvidia.com/labs/par/fast4dmesh/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.19786)
在您的代理中获取此论文：
hf papers read 2605.19786
没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
暂无模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2605.19786 以在此页面建立链接。
引用此论文的数据集 0
暂无数据集链接此论文
请在数据集 README.md 中引用 arxiv.org/abs/2605.19786 以在此页面建立链接。
引用此论文的 Spaces 0
暂无 Space 链接此论文
请在 Space README.md 中引用 arxiv.org/abs/2605.19786 以在此页面建立链接。
包含此论文的合集 0
暂无合集包含此论文
请将此论文添加到一个合集 (https://huggingface.co/new-collection) 中以在此页面建立链接。
相似文章
Helix4D：复杂4D网格生成
Helix4D 提出了一种从视频生成高质量动态4D网格的框架，通过扩展Trellis2，引入跨帧注意力机制和4D时间编码，在不增加参数的情况下重新利用冗余的空间RoPE频带，从而实现这一目标。
超越像素：从视频先验到4D世界
本文介绍了Latent-to-4D，一种直接从视频扩散潜变量生成4D场景的方法，无需跨生成器重新训练，在几何和时间稳定性上优于级联方法。
Meshy T2：基于流匹配的快速原生网格生成
Meshy T2 引入了一个基于流匹配的快速原生网格生成框架，结合顶点集网格 VAE，实现了最先进的几何保真度，端到端图像到网格生成中位时间仅 6 秒，比自回归基线快一个数量级以上。
Sol-Attn: 通过即时注意力稀疏化加速视频生成推理
Sol-Attn 提出了一种无需训练的方法，用于视频生成推理的注意力稀疏化，通过在线softmax过程中动态选择键值块，实现了超过2倍的速度提升，且质量损失极小。
4DAnyone：从普通单目视频创建4D人物
4DAnyone通过生成多视角一致视频并将其提升到4D高斯溅射，从单目视频重建4D人物，并使用参考和目标上下文设计来解决扩展瓶颈。