Paper page - Relit-LiVE: Relight Video by Jointly Learning Environment Video

Source: https://huggingface.co/papers/2605.06658

Abstract

本文提出了一种名为 Relit-LiVE 的新型视频重光照框架，该框架通过引入原始参考图像并利用环境视频预测进行联合重光照和环境贴图生成，无需相机姿态信息即可生成物理一致的结果。

近期的研究表明，大型视频扩散模型 (https://huggingface.co/papers?q=video%20diffusion%20models) 可以首先将视频分解为内蕴场景表示 (https://huggingface.co/papers?q=intrinsic%20scene%20representations)，然后在新型光照条件下进行前向渲染 (https://huggingface.co/papers?q=forward%20rendering)，从而被重新用作神经渲染器 (https://huggingface.co/papers?q=neural%20renderers)。尽管这一范式前景广阔，但其根本上依赖于准确的内蕴分解，而这一过程在真实世界视频中仍然高度不可靠，往往导致重光照过程中出现外观扭曲、材质破损以及累积的时间伪影。在本工作中，我们提出了 Relit-LiVE，这是一种新型视频重光照 (https://huggingface.co/papers?q=video%20relighting) 框架，能够在无需预先知道相机姿态的情况下，生成物理一致且时间稳定的结果。我们的核心见解是明确地将原始参考图像引入渲染过程，使模型能够恢复那些在内蕴表示中不可避免丢失或损坏的关键场景线索。此外，我们提出了一种新颖的环境视频预测 (https://huggingface.co/papers?q=environment%20video%20prediction) 公式，在单一的扩散过程 (https://huggingface.co/papers?q=diffusion%20process) 中同时生成重光照视频和与每个相机视点对齐的逐帧环境贴图。这种联合预测强制实现了强几何-光照对齐 (https://huggingface.co/papers?q=geometric-illumination%20alignment)，并自然支持动态光照和相机运动，在放宽对已知逐帧相机姿态要求的同时，显著提高了视频重光照 (https://huggingface.co/papers?q=video%20relighting) 的物理一致性。大量实验表明，Relit-LiVE 在合成和真实世界基准测试中始终优于最先进的视频重光照 (https://huggingface.co/papers?q=video%20relighting) 和神经渲染 (https://huggingface.co/papers?q=neural%20rendering) 方法。除了重光照之外，我们的框架还支持广泛的下游应用，包括场景级渲染、材质编辑、物体插入和流式视频重光照 (https://huggingface.co/papers?q=video%20relighting)。项目地址见 https://github.com/zhuxing0/Relit-LiVE。

View arXiv page (https://arxiv.org/abs/2605.06658)View PDF (https://arxiv.org/pdf/2605.06658)Project page (https://zhuxing0.github.io/projects/Relit-LiVE/)GitHub (https://github.com/zhuxing0/Relit-LiVE)Add to collection (https://huggingface.co/login?next=%2Fpapers%2F2605.06658)

在您的 agent 中获取此论文：

hf papers read 2605.06658

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

Models citing this paper1

weiqingXiao/Relit-LiVE Image-to-Video• Updated5 days ago • 2 (https://huggingface.co/weiqingXiao/Relit-LiVE)

Datasets citing this paper0

No dataset linking this paper

Cite arxiv.org/abs/2605.06658 in a dataset README.md to link it from this page.

Spaces citing this paper0

No Space linking this paper

Cite arxiv.org/abs/2605.06658 in a Space README.md to link it from this page.

Collections including this paper0

No Collection including this paper

Add this paper to acollection (https://huggingface.co/new-collection)to link it from this page.