论文页面 - 为何视频扩散模型违背物理规律？揭秘注意力机制缺陷

来源：https://huggingface.co/papers/2609.23658

摘要

尽管具备出色的视觉质量，最先进的视频扩散模型仍常生成违反现实物理规律的内容。现有解决方案依赖外部先验或专门数据，而本研究通过探究模型内部机制寻找根本原因。我们首次对文本到视频扩散模型的“运动规划”过程进行可解释性研究，揭示早期去噪阶段运动轨迹的形成机制。基于“先整体形状，后局部细节”的发现，我们将交叉注意力轨迹模式与因果头贡献相结合，识别出驱动运动规划的特定注意力头子集。进一步的自注意力分析表明，旋转位置编码（RoPE）会引发过度的空间注意力衰减。这导致早期候选区域过早锁定在物理不合理的位置，抑制相邻帧的合理轨迹并触发生成失败模式。为解决这一根本缺陷，我们提出轻量级架构改进方案，在不同去噪步骤中动态调整RoPE的频率缩放。该策略减少了过度注意力衰减，帮助模型探索更优候选区域以建立连贯的物理运动。最后，通过免训练与需训练实验证实，本方法有效提升了生成视频的物理常识性。

查看arXiv页面（https://arxiv.org/abs/2609.23658）查看PDF（https://arxiv.org/pdf/2609.23658）项目页面（https://siriuslala.github.io/physics）GitHub1（https://github.com/Siriuslala/physics）添加至收藏（https://huggingface.co/login?next=%2Fpapers%2F2609.23658）

在您的智能体中获取本文：

hf papers read 2609.23658

尚未安装最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

暂无模型关联本文

在模型README.md中引用arxiv.org/abs/2609.23658以从本页面建立链接

引用本文的数据集0

暂无数据集关联本文

在数据集README.md中引用arxiv.org/abs/2609.23658以从本页面建立链接

引用本文的Spaces0

暂无Space关联本文

在Space README.md中引用arxiv.org/abs/2609.23658以从本页面建立链接

包含本文的合集0

暂无合集收录本文

将本论文添加至合集（https://huggingface.co/new-collection）以从本页面建立链接