WildRelight:面向单图像重光照的实世界基准与物理引导自适应
摘要
本文介绍了 WildRelight,这是一个针对单图像重光照的实世界基准数据集,旨在弥合合成场景与自然场景之间的差距。该研究提出了一种物理引导的自适应框架,利用扩散后验采样和测试时自适应来提升模型在实世界数据上的表现。
查看缓存全文
缓存时间: 2026/05/13 12:15
论文页面 - WildRelight: 面向单图像重光照的实地基准测试与物理引导适配
来源:https://huggingface.co/papers/2605.11696
摘要
WildRelight 数据集通过提供具有对齐自然光照的高分辨率户外场景,解决了合成数据与真实世界单图像重光照之间的差距,从而通过扩散后验采样和测试时适配实现物理引导的领域适配。
近期由先进生成模型(https://huggingface.co/papers?q=generative%20models)驱动的单图像重光照(https://huggingface.co/papers?q=single-image%20relighting)方法,在合成基准测试中取得了令人印象深刻的照片级真实感。然而,它们在真实世界复杂视觉环境中的有效性很大程度上仍未得到验证。由于当前数据集通常针对多视图重建设计,未能解决单图像重光照(https://huggingface.co/papers?q=single-image%20relighting)的独特挑战,因此存在一个关键差距。为了弥合这一从合成到真实的差距,我们引入了 WildRelight,这是首个专为评估单图像重光照(https://huggingface.co/papers?q=single-image%20relighting)模型而创建的实地(in-the-wild)数据集。WildRelight 包含多样化的集高分辨率户外场景,这些场景在严格对齐、随时间变化的自然光照下拍摄,并且每个场景都配有一个高动态范围环境贴图。利用这些数据,我们建立了一个严格的基准测试,揭示了在合成数据上训练的最先进模型遭受严重的领域偏移(https://huggingface.co/papers?q=domain%20shift)。WildRelight 严格对齐的时间结构为领域适配开启了一个新范式。我们通过引入一个物理引导推理(https://huggingface.co/papers?q=physics-guided%20inference)框架来证明这一点,该框架利用捕捉到的自然光演变作为自监督约束。通过整合扩散后验采样(https://huggingface.co/papers?q=Diffusion%20Posterior%20Sampling)(DPS) 与时序采样感知测试时适配(https://huggingface.co/papers?q=temporal%20Sampling-Aware%20Test-Time%20Adaptation)(TTA),我们展示了该数据集允许合成模型与真实世界统计数据进行即时对齐,从而将难以处理的模拟到真实挑战转化为可处理的自监督任务。数据集和代码将公开提供,以促进稳健且基于物理的重光照研究。
查看 arXiv 页面 (https://arxiv.org/abs/2605.11696) 查看 PDF (https://arxiv.org/pdf/2605.11696) 项目页面 (https://lez-s.github.io/wildrelight_proj/) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.11696)
在您的代理中获取此论文:
hf papers read 2605\.11696
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
无模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2605.11696 以从此页面链接它。
引用此论文的数据集 1
Lez/wildrelight 更新于约 2 小时前 • 97 • 1 (https://huggingface.co/datasets/Lez/wildrelight)
引用此论文的 Spaces 0
无 Space 链接此论文
在 Space README.md 中引用 arxiv.org/abs/2605.11696 以从此页面链接它。
包含此论文的收藏集 0
无收藏集包含此论文
将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接它。
相似文章
Relit-LiVE:通过联合学习环境视频实现视频重光照
本文介绍了 Relit-LiVE,这是一种新颖的视频重光照框架。它利用原始参考图像和联合环境视频预测,在无需相机姿态信息的情况下生成物理一致的结果。
DF3DV-1K:大规模无干扰新视角合成数据集与基准
介绍了DF3DV-1K,一个包含1048个场景和89924张图像的大规模真实世界数据集,用于无干扰的新视角合成,同时提供了九种方法的基准测试,以及通过微调基于扩散的2D增强器来改进辐射场方法的应用。
ControlLight:面向可控、一致且可泛化的低光照增强
ControlLight 是一个可控的低光照增强框架,利用大规模真实世界数据集和加权流匹配损失,在不同增强强度下实现一致的图像质量,达到最先进性能。
Sparkle:通过解耦指导实现生动的指令引导视频背景替换
本文介绍了Sparkle,这是一个用于指令引导视频背景替换的新数据集和基准,解决了该领域缺乏高质量训练数据的问题。它提出了一种具有解耦指导的可扩展流水线,以生成逼真的前景-背景交互。
BRDFusion: 物理与生成相结合的城市场景逆渲染
BRDFusion 将物理建模与生成先验相结合,实现了高质量的城市场景逆渲染和正向渲染,支持新颖视角重光照和动态物体插入等应用。