论文页面 - LooseControlVideo：使用空间分块实现导演级视频控制

来源: https://huggingface.co/papers/2606.19495

摘要

LooseControlVideo通过使用稀疏定向3D框作为代理，在文本到视频生成中实现直观的3D空间控制，与现有方法相比，在轨迹精度和遮挡处理方面表现更优。

在文本到视频生成中，精确的3D空间编排仍然是一项重大挑战，尤其是在多对象场景中，语义布局和时间动态常常相互纠缠。现有的深度条件模型虽然能实现良好的结构保真度，但需要密集的、帧级精确的引导，对于涉及可变形对象的动态事件而言，这种引导编写起来非常耗时。我们提出了LooseControlVideo框架，通过使用稀疏、定向的3D框作为“分块”代理，实现直观且富有表现力的控制。这使得用户能够编写高级布局和轨迹，同时利用视频生成模型生成逼真的遮挡、动态和交互。我们通过对一个视频数据集微调Wan 2.2骨干网络来实现这一点，该数据集使用DNOCS（一种针对3D尺寸、方向和深度排序遮挡的新型编码）进行标注。此外，我们的方法允许局部细化，例如调整跳跃轨迹或添加交互，同时最大程度地减少对全局场景上下文的干扰。在nuScenes、HO-3D和BEHAVE基准上的广泛评估表明，LooseControlVideo显著优于现有的2D框和基于流的基线方法。我们的研究结果表明，与当前最先进的布局条件模型相比，轨迹误差提升了1.2倍至3倍；刚体运动一致性提升了2倍；遮挡精度提升了1.5倍至2倍，这表明定向3D基元为复杂的多智能体视频编写提供了良好的几何先验。

查看arXiv页面 (https://arxiv.org/abs/2606.19495)查看PDF (https://arxiv.org/pdf/2606.19495)项目页面 (https://shariqfarooq123.github.io/LooseControlVideo/)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.19495)

在你的智能体中获取这篇论文：

hf papers read 2606.19495

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

没有模型链接此论文

在模型的README.md中引用 arxiv.org/abs/2606.19495 以从此页面链接。

引用本论文的数据集0

没有数据集链接此论文

在数据集的README.md中引用 arxiv.org/abs/2606.19495 以从此页面链接。

引用本论文的Space0

没有Space链接此论文

在Space的README.md中引用 arxiv.org/abs/2606.19495 以从此页面链接。

包含本论文的收藏集0

没有收藏集包含此论文

将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 以从此页面链接。