WildRelight:面向单图像重光照的实世界基准与物理引导自适应

Hugging Face Daily Papers 论文

摘要

本文介绍了 WildRelight,这是一个针对单图像重光照的实世界基准数据集,旨在弥合合成场景与自然场景之间的差距。该研究提出了一种物理引导的自适应框架,利用扩散后验采样和测试时自适应来提升模型在实世界数据上的表现。

近期,得益于先进的生成模型,单图像重光照方法在合成基准上实现了令人印象深刻的照片级真实感。然而,其在复杂的实世界视觉环境中的有效性尚未得到充分验证。当前数据集通常专为多视图重建设计,未能解决单图像重光照的独特挑战,由此产生了一个关键差距。为弥合这一合成到实世界的差距,我们引入了 WildRelight,这是首个专门用于评估单图像重光照模型的野外数据集。WildRelight 包含大量高分辨率户外场景,这些场景在严格对齐、随时间变化的自然光照条件下拍摄,并各自配有高动态范围环境贴图。利用这些数据,我们建立了一个严格的基准,揭示了在合成数据上训练的最先进模型在面临严重域偏移时的局限性。WildRelight 严格的时序对齐结构为域自适应提供了一种新范式。我们通过引入一种物理引导的推理框架来展示这一点,该框架利用捕捉到的自然光演化作为自监督约束。通过整合扩散后验采样(DPS)与时序感知测试时自适应(TTA),我们证明了该数据集能够使合成模型在运行时与实世界统计特性保持一致,从而将难以处理的仿真到实世界挑战转化为可行的自监督任务。数据集和代码将公开提供,以促进稳健且基于物理基础的重光照研究。
查看原文
查看缓存全文

缓存时间: 2026/05/13 12:15

论文页面 - WildRelight: 面向单图像重光照的实地基准测试与物理引导适配

来源:https://huggingface.co/papers/2605.11696

摘要

WildRelight 数据集通过提供具有对齐自然光照的高分辨率户外场景,解决了合成数据与真实世界单图像重光照之间的差距,从而通过扩散后验采样和测试时适配实现物理引导的领域适配。

近期由先进生成模型(https://huggingface.co/papers?q=generative%20models)驱动的单图像重光照(https://huggingface.co/papers?q=single-image%20relighting)方法,在合成基准测试中取得了令人印象深刻的照片级真实感。然而,它们在真实世界复杂视觉环境中的有效性很大程度上仍未得到验证。由于当前数据集通常针对多视图重建设计,未能解决单图像重光照(https://huggingface.co/papers?q=single-image%20relighting)的独特挑战,因此存在一个关键差距。为了弥合这一从合成到真实的差距,我们引入了 WildRelight,这是首个专为评估单图像重光照(https://huggingface.co/papers?q=single-image%20relighting)模型而创建的实地(in-the-wild)数据集。WildRelight 包含多样化的集高分辨率户外场景,这些场景在严格对齐、随时间变化的自然光照下拍摄,并且每个场景都配有一个高动态范围环境贴图。利用这些数据,我们建立了一个严格的基准测试,揭示了在合成数据上训练的最先进模型遭受严重的领域偏移(https://huggingface.co/papers?q=domain%20shift)。WildRelight 严格对齐的时间结构为领域适配开启了一个新范式。我们通过引入一个物理引导推理(https://huggingface.co/papers?q=physics-guided%20inference)框架来证明这一点,该框架利用捕捉到的自然光演变作为自监督约束。通过整合扩散后验采样(https://huggingface.co/papers?q=Diffusion%20Posterior%20Sampling)(DPS) 与时序采样感知测试时适配(https://huggingface.co/papers?q=temporal%20Sampling-Aware%20Test-Time%20Adaptation)(TTA),我们展示了该数据集允许合成模型与真实世界统计数据进行即时对齐,从而将难以处理的模拟到真实挑战转化为可处理的自监督任务。数据集和代码将公开提供,以促进稳健且基于物理的重光照研究。

查看 arXiv 页面 (https://arxiv.org/abs/2605.11696) 查看 PDF (https://arxiv.org/pdf/2605.11696) 项目页面 (https://lez-s.github.io/wildrelight_proj/) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.11696)

在您的代理中获取此论文:

hf papers read 2605\.11696

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.11696 以从此页面链接它。

引用此论文的数据集 1

Lez/wildrelight 更新于约 2 小时前 • 97 • 1 (https://huggingface.co/datasets/Lez/wildrelight)

引用此论文的 Spaces 0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.11696 以从此页面链接它。

包含此论文的收藏集 0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接它。

相似文章

DF3DV-1K:大规模无干扰新视角合成数据集与基准

Hugging Face Daily Papers

介绍了DF3DV-1K,一个包含1048个场景和89924张图像的大规模真实世界数据集,用于无干扰的新视角合成,同时提供了九种方法的基准测试,以及通过微调基于扩散的2D增强器来改进辐射场方法的应用。