论文页面 - MirrorWorld：驯服视频扩散模型以生成镜面反射

来源：https://huggingface.co/papers/2608.07463

摘要

MirrorWorld 通过关系蒸馏和变换对齐，分别建模语义内容关联和几何空间排列，从而改进视频镜面反射合成。

近年来，视频扩散模型（VDMs）的进展实现了高保真视频合成。然而，生成镜面反射仍然具有挑战性，因为镜中的内容必须与周围场景保持一致。现有的 VDM 并非专门为建模场景到镜面的关系而设计，这可能导致反射内容错误或空间排列不一致。我们观察到，镜面反射生成涉及两个互补的挑战：确定哪些场景内容应被反射，以及反射内容在镜子区域内应如何空间排列。基于这一观察，我们提出了 MirrorWorld，一个反射感知的视频修复框架，在生成过程中对场景到镜面的关系进行建模。具体来说，我们引入了语义关系蒸馏（SRD），它从冻结的视觉基础模型中转移关系信息，以促进可见场景内容与镜子区域之间的语义关联。我们进一步提出了几何变换对齐（GTA），它学习一种变换来引导反射内容的空间排列。这两个组件扮演互补的角色：SRD 建模应该反射什么，GTA 建模如何排列。为了促进对该问题的研究，我们构建了一个视频镜面反射生成基准，将四个现有的视频镜子数据集重新用于统一的反射重建任务。实验结果表明，MirrorWorld 在反射重建质量上优于有代表性的基于图像的反射生成方法和强大的视频修复基线方法。

查看 arXiv 页面 (https://arxiv.org/abs/2608.07463) 查看 PDF (https://arxiv.org/pdf/2608.07463) 项目页面 (https://youjunzhao.github.io/MirrorWorld/) GitHub7 (https://github.com/YoujunZhao/MirrorWorld) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.07463)

在你的智能体中获取这篇论文：

hf papers read 2608\.07463

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

没有链接该论文的模型

在模型 README.md 中引用 arxiv.org/abs/2608.07463，即可从本页链接到该模型。

引用该论文的数据集0

没有链接该论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2608.07463，即可从本页链接到该数据集。

引用该论文的 Space0

没有链接该论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2608.07463，即可从本页链接到该 Space。

包含该论文的集合0

没有包含该论文的集合

将此论文添加到集合 (https://huggingface.co/new-collection) 中，即可从本页链接到该集合。