论文页面 - 所有模态皆平等，但视频更具代表性：弥合联合视频生成中的跨注意力鸿沟

来源：https://huggingface.co/papers/2609.27901

摘要

视频是对物理事件的丰富表征，捕捉外观、几何结构、运动及时间演化。其他模态，如三维身体动作或音频，则编码同一事件更狭窄的方面。我们发现，联合多模态扩散Transformer在跨模态对应关系中表现出相应的不对称性：互补模态对视频发展出强对应关系，但反过来制约视频的对应关系则明显较弱。我们将这两个方向表达为视频标记上可比的对应分布，并将其差异定义为互易对应差距。我们引入RecCAR（互易跨模态注意力正则化），这是一种KL正则化器，它利用已确立的视频到模态对应关系作为固定参考，并将较弱的模态到视频对应关系与之对齐。在联合视频-动作和视频-音频生成中，RecCAR将人体解剖分数从0.69提升至0.75，并将音视频失同步率从0.804降至0.752，同时改善了整体生成质量。

查看arXiv页面 (https://arxiv.org/abs/2609.27901) 查看PDF (https://arxiv.org/pdf/2609.27901) 项目页面 (https://ohad204.github.io/RecCAR.github.io/) GitHub (https://github.com/ohad204/RecCAR) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.27901)

在您的代理中获取此论文：

hf papers read 2609.27901

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型

暂无模型链接此论文

在模型的README.md中引用 arxiv.org/abs/2609.27901 以从本页面链接。

引用此论文的数据集

暂无数据集链接此论文

在数据集的README.md中引用 arxiv.org/abs/2609.27901 以从本页面链接。

引用此论文的空间

暂无空间链接此论文

在空间的README.md中引用 arxiv.org/abs/2609.27901 以从本页面链接。

包含此论文的合集

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 以从本页面链接。