DF3DV-1K:大规模无干扰新视角合成数据集与基准

Hugging Face Daily Papers 论文

摘要

介绍了DF3DV-1K,一个包含1048个场景和89924张图像的大规模真实世界数据集,用于无干扰的新视角合成,同时提供了九种方法的基准测试,以及通过微调基于扩散的2D增强器来改进辐射场方法的应用。

辐射场领域的进展已实现照片级的新视角合成。在多个领域,大规模真实世界数据集已被开发出来,以支持全面的基准测试并推动超越场景特定重建的进步。然而,对于无干扰辐射场,仍缺乏一个包含每个场景干净和杂乱图像的大规模数据集,这限制了发展。为填补这一空白,我们提出了DF3DV-1K,一个大规模真实世界数据集,包含1048个场景,每个场景提供干净和杂乱图像集用于基准测试。数据集总共包含89924张使用消费级相机拍摄的图像,以模拟随意拍摄场景,涵盖128种干扰类型和161种室内外场景主题。其中精心挑选的41个场景子集DF3DV-41,被系统性地设计用于评估无干扰辐射场方法在挑战性场景下的鲁棒性。利用DF3DV-1K,我们对九种近期无干扰辐射场方法和3D高斯泼溅进行了基准测试,识别出最鲁棒的方法和最困难的场景。除基准测试外,我们还展示了DF3DV-1K的一个应用:通过微调基于扩散的2D增强器来改进辐射场方法,在保留集(例如DF3DV-41)和On-the-go数据集上实现了平均0.96 dB的PSNR提升和0.057的LPIPS改善。我们希望DF3DV-1K能促进无干扰视觉的发展,并推动超越场景特定方法的进步。数据集和排行榜可在https://johnnylu305.github.io/df3dv1k_web/获取。
查看原文
查看缓存全文

缓存时间: 2026/06/20 14:28

论文页面 - DF3DV-1K:用于无干扰新颖视角合成的大规模数据集与基准

来源:https://huggingface.co/papers/2604.13416

摘要

我们推出了一个名为DF3DV-1K的大规模真实世界数据集,旨在解决无干扰辐射场研究中缺乏干净与杂乱图像集的问题。该数据集包含1,048个场景,共89,924张图像,涵盖128种干扰类型和161种场景主题,并精心挑选了子集DF3DV-41用于鲁棒性评估。实验表明,利用该数据集微调基于扩散的2D增强器可显著提升辐射场方法的性能。

辐射场(https://huggingface.co/papers?q=radiance%20fields)的进步使得逼真的新颖视角合成(https://huggingface.co/papers?q=novel%20view%20synthesis)成为可能。在多个领域,已开发出大规模真实世界数据集以支持全面基准测试并推动超越场景特定重建的进展。然而,对于无干扰(https://huggingface.co/papers?q=distractor-free)辐射场(https://huggingface.co/papers?q=radiance%20fields),仍然缺乏每个场景同时包含干净与杂乱图像的大规模数据集,这限制了其发展。为弥补这一不足,我们推出了DF3DV-1K,这是一个大规模真实世界数据集,包含1,048个场景,每个场景都提供干净和杂乱的图像集用于基准测试。该数据集总计包含89,924张图像,使用消费级相机拍摄以模拟随意拍摄场景,涵盖128种干扰类型和161种场景主题,分布于室内和室外环境。我们还精心挑选了41个场景的子集DF3DV-41,系统设计用于评估无干扰(https://huggingface.co/papers?q=distractor-free)辐射场方法在挑战性场景下的鲁棒性。利用DF3DV-1K,我们对九种最新的无干扰(https://huggingface.co/papers?q=distractor-free)辐射场方法和3D高斯泼溅(https://huggingface.co/papers?q=3D%20Gaussian%20Splatting)进行了基准测试,识别出最鲁棒的方法以及最具挑战性的场景。除基准测试外,我们还展示了DF3DV-1K的一个应用:通过微调基于扩散的2D增强器(https://huggingface.co/papers?q=diffusion-based%202D%20enhancer)来改进辐射场方法,在保留测试集(如DF3DV-41)和On-the-go数据集上平均PSNR(https://huggingface.co/papers?q=PSNR)提升0.96 dB,LPIPS(https://huggingface.co/papers?q=LPIPS)降低0.057。我们希望DF3DV-1K能够促进无干扰(https://huggingface.co/papers?q=distractor-free)视觉的发展,并推动超越场景特定方法的进步。数据集和排行榜可在 https://johnnylu305.github.io/df3dv1k_web/ 获取。

查看arXiv页面(https://arxiv.org/abs/2604.13416)查看PDF(https://arxiv.org/pdf/2604.13416)项目页面(https://johnnylu305.github.io/df3dv1k_web/)GitHub20(https://github.com/johnnylu305/DF3DV)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2604.13416)

引用本文的模型0

暂无模型关联本文

在模型README.md中引用arxiv.org/abs/2604.13416即可从本页链接。

引用本文的数据集2

ChengYou305/DF3DV-1K 更新于约20小时前 • 29(https://huggingface.co/datasets/ChengYou305/DF3DV-1K)

ChengYou305/DF3DV-1K-Fixer 更新于约20小时前 • 19(https://huggingface.co/datasets/ChengYou305/DF3DV-1K-Fixer)

引用本文的Space0

暂无Space关联本文

在Space README.md中引用arxiv.org/abs/2604.13416即可从本页链接。

包含本文的收藏集1

相似文章

DyRAD:面向动态驾驶场景的雷达新视角合成

Hugging Face Daily Papers

DyRAD 提出了一种面向动态驾驶场景的雷达新视角合成方法,通过建模静态背景与经运动跟踪的动态点反射器,渲染出完整的距离-方位-多普勒张量;该方法使用固定的解析点扩散函数,从而实现零样本的传感器配置迁移,并在 RADIal 基准上大幅超越基线方法。

SynCity 3000: 自举场景级3D扩散

Hugging Face Daily Papers

SynCity 3000 提出了一种框架,用于生成大规模、全局一致的3D场景,该框架通过将图像到3D生成器适配为卷积算子,并在来自新数据引擎的合成场景数据上进行微调来实现。