DF3DV-1K:大规模无干扰新视角合成数据集与基准
摘要
介绍了DF3DV-1K,一个包含1048个场景和89924张图像的大规模真实世界数据集,用于无干扰的新视角合成,同时提供了九种方法的基准测试,以及通过微调基于扩散的2D增强器来改进辐射场方法的应用。
查看缓存全文
缓存时间: 2026/06/20 14:28
论文页面 - DF3DV-1K:用于无干扰新颖视角合成的大规模数据集与基准
来源:https://huggingface.co/papers/2604.13416
摘要
我们推出了一个名为DF3DV-1K的大规模真实世界数据集,旨在解决无干扰辐射场研究中缺乏干净与杂乱图像集的问题。该数据集包含1,048个场景,共89,924张图像,涵盖128种干扰类型和161种场景主题,并精心挑选了子集DF3DV-41用于鲁棒性评估。实验表明,利用该数据集微调基于扩散的2D增强器可显著提升辐射场方法的性能。
辐射场(https://huggingface.co/papers?q=radiance%20fields)的进步使得逼真的新颖视角合成(https://huggingface.co/papers?q=novel%20view%20synthesis)成为可能。在多个领域,已开发出大规模真实世界数据集以支持全面基准测试并推动超越场景特定重建的进展。然而,对于无干扰(https://huggingface.co/papers?q=distractor-free)辐射场(https://huggingface.co/papers?q=radiance%20fields),仍然缺乏每个场景同时包含干净与杂乱图像的大规模数据集,这限制了其发展。为弥补这一不足,我们推出了DF3DV-1K,这是一个大规模真实世界数据集,包含1,048个场景,每个场景都提供干净和杂乱的图像集用于基准测试。该数据集总计包含89,924张图像,使用消费级相机拍摄以模拟随意拍摄场景,涵盖128种干扰类型和161种场景主题,分布于室内和室外环境。我们还精心挑选了41个场景的子集DF3DV-41,系统设计用于评估无干扰(https://huggingface.co/papers?q=distractor-free)辐射场方法在挑战性场景下的鲁棒性。利用DF3DV-1K,我们对九种最新的无干扰(https://huggingface.co/papers?q=distractor-free)辐射场方法和3D高斯泼溅(https://huggingface.co/papers?q=3D%20Gaussian%20Splatting)进行了基准测试,识别出最鲁棒的方法以及最具挑战性的场景。除基准测试外,我们还展示了DF3DV-1K的一个应用:通过微调基于扩散的2D增强器(https://huggingface.co/papers?q=diffusion-based%202D%20enhancer)来改进辐射场方法,在保留测试集(如DF3DV-41)和On-the-go数据集上平均PSNR(https://huggingface.co/papers?q=PSNR)提升0.96 dB,LPIPS(https://huggingface.co/papers?q=LPIPS)降低0.057。我们希望DF3DV-1K能够促进无干扰(https://huggingface.co/papers?q=distractor-free)视觉的发展,并推动超越场景特定方法的进步。数据集和排行榜可在 https://johnnylu305.github.io/df3dv1k_web/ 获取。
查看arXiv页面(https://arxiv.org/abs/2604.13416)查看PDF(https://arxiv.org/pdf/2604.13416)项目页面(https://johnnylu305.github.io/df3dv1k_web/)GitHub20(https://github.com/johnnylu305/DF3DV)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2604.13416)
引用本文的模型0
暂无模型关联本文
在模型README.md中引用arxiv.org/abs/2604.13416即可从本页链接。
引用本文的数据集2
ChengYou305/DF3DV-1K 更新于约20小时前 • 29(https://huggingface.co/datasets/ChengYou305/DF3DV-1K)
ChengYou305/DF3DV-1K-Fixer 更新于约20小时前 • 19(https://huggingface.co/datasets/ChengYou305/DF3DV-1K-Fixer)
引用本文的Space0
暂无Space关联本文
在Space README.md中引用arxiv.org/abs/2604.13416即可从本页链接。
包含本文的收藏集1
相似文章
VGGT-Diff:视觉几何与扩散在稀疏视角新视角合成中的融合
VGGT-Diff是一种基于几何路由的多视角扩散模型,它将视觉几何潜在变量与预训练扩散模型相结合,以改进稀疏视角新视角合成,达到竞争性或最先进的性能。
RayDer:从真实世界视频中实现可扩展的自监督新颖视图合成
RayDer 是一个统一的前馈变换器,它将相机估计、场景重建和渲染整合到单一架构中,用于从真实世界视频进行自监督的新颖视图合成,实现了清晰的幂律扩展和强大的零样本性能。
UniWorld-View:基于视频扩散模型的大基线视图合成
提出了UniWorld-View,一个用于从单目输入进行大基线新视图合成的统一框架,将遮挡感知的点云渲染与视频扩散模型相结合,以实现精确的相机控制和几何一致性。
DyRAD:面向动态驾驶场景的雷达新视角合成
DyRAD 提出了一种面向动态驾驶场景的雷达新视角合成方法,通过建模静态背景与经运动跟踪的动态点反射器,渲染出完整的距离-方位-多普勒张量;该方法使用固定的解析点扩散函数,从而实现零样本的传感器配置迁移,并在 RADIal 基准上大幅超越基线方法。
SynCity 3000: 自举场景级3D扩散
SynCity 3000 提出了一种框架,用于生成大规模、全局一致的3D场景,该框架通过将图像到3D生成器适配为卷积算子,并在来自新数据引擎的合成场景数据上进行微调来实现。