论文页面 - Marigold V2：重新审视用于单目深度估计的扩散变换器

来源：https://huggingface.co/papers/2609.08084

摘要

Marigold V2 将扩散变换器重新用于单目深度估计，通过单步流匹配推理、语义对齐以及基于 Sinkhorn 的两阶段微调协议，生成更清晰的分布外深度图，并在相关密集回归任务上取得了强劲结果。

单目深度估计（https://huggingface.co/papers?q=Monocular%20depth%20estimation）是一项普遍但高度不适定的计算机视觉任务，其下游应用包括场景重建、计算摄影和机器人技术等。尽管该领域已相当成熟，但近期模型仍难以泛化到分布外输入，并生成清晰且细节丰富的深度图。本文我们重新审视 Marigold，这是一套将现代图像生成与编辑（https://huggingface.co/papers?q=dit）模型（基于扩散变换器（https://huggingface.co/papers?q=diffusion%20transformer）(DiT (https://huggingface.co/papers?q=DiT)) 架构）改造为最先进单目深度估计器的技术方案。我们的方法专注于从预训练的多步流匹配（https://huggingface.co/papers?q=flow-matching）模型进行单步推理，在需要时应用量化（https://huggingface.co/papers?q=quantization），在保持模型容量的同时降低运行成本。我们分析了朴素训练的伪影，并确定了两个有效的解决方案：将模型内部表征与从真实数据提取的语义特征对齐，以及采用基于新型 Sinkhorn 损失（https://huggingface.co/papers?q=Sinkhorn-based%20loss）构建的两阶段微调协议。所得结果是更清晰、更干净的深度图，且在分布外场景中泛化良好，在 KITTI 和 ETH3D 数据集上的 AbsRel 指标较之前最佳结果提升了 16%-26%。从定性角度看，我们的模型能解析出毛皮、枝叶及发丝般纤细的边缘，而这些是先前模型难以处理的。此外，当应用于其他密集回归任务时，如法向量估计（https://huggingface.co/papers?q=surface%20normals%20estimation）和内在图像分解（https://huggingface.co/papers?q=intrinsic%20image%20decomposition），Marigold V2 也达到了最先进水平。项目网站：https://hf.co/spaces/huawei-bayerlab/marigold-v2-web

查看 arXiv 页面 (https://arxiv.org/abs/2609.08084) 查看 PDF (https://arxiv.org/pdf/2609.08084) 项目页面 (https://hf.co/spaces/huawei-bayerlab/marigold-v2-web) GitHub79 (https://github.com/huawei-bayerlab/marigold-v2) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.08084)

引用本文的模型0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.08084 以从此页面链接。

引用本文的数据集0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.08084 以从此页面链接。

引用本文的 Space0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.08084 以从此页面链接。

包含本文的收藏集3