论文页面 - ReFlowSET：基于表征对齐的潜在流匹配方法，实现SAR到EO图像转换

来源：https://huggingface.co/papers/2609.00968

摘要

ReFlowSET 通过联合 SAR-EO 重建选择了一个潜在编解码器，并训练了一个小型条件 DiT 模型，该模型采用双流条件控制，并与冻结的视觉模型进行对齐，以实现高保真的 SAR 到 EO 图像转换。

SAR 到 EO 图像转换旨在从合成孔径雷达（SAR）观测数据生成电光（EO）图像。现有的潜在扩散方法通常沿用一个预先确定的自编码器，尽管不同编解码器和模态之间的重建保真度可能存在很大差异。由于潜在编解码器会影响 SAR 条件和 EO 目标的往返保持，因此编解码器选择 (https://huggingface.co/papers?q=codec%20selection) 构成了一个根本性的设计选择；然而，现有方法大多依赖于在自然图像上预训练的编解码器。为了解决这个问题，我们引入了 ReFlowSET，这是一个条件潜在流匹配 (https://huggingface.co/papers?q=latent%20flow-matching) 框架，它通过联合 SAR-EO 重建审计来选择自己的编解码器。ReFlowSET 不是沿用一个庞大的预训练生成器，而是在选定的潜在空间中从头开始训练一个显著更小的条件 DiT (https://huggingface.co/papers?q=conditional%20DiT)，使用双流 SAR 条件控制 (https://huggingface.co/papers?q=dual-stream%20SAR%20conditioning)，然后进行联合特征精炼 (https://huggingface.co/papers?q=joint%20feature%20refinement)。为了给这个从头开始的训练提供语义指导，中间带噪声的 EO 特征会与冻结的视觉基础模型 (https://huggingface.co/papers?q=vision%20foundation%20model) 提取的干净目标 EO 表征进行对齐。这种对齐仅在训练期间使用，不会引入额外的推理成本。在 QXS-SAROPT 和 SAR2Opt 数据集上的实验表明，在各种感知保真度和分布指标上均达到了最先进的性能。代码和预训练权重可在 https://github.com/KAIST-VICLab/ReFlowSET 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2609.00968) 查看 PDF (https://arxiv.org/pdf/2609.00968) 项目主页 (https://kaist-viclab.github.io/ReFlowSET_site/) GitHub2 (https://github.com/KAIST-VICLab/ReFlowSET) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.00968)

在你的代理中获取此论文：

hf papers read 2609\.00968

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型1

JeonghyeokDo/ReFlowSET 图像到图像• 约2小时前更新 • 1 (https://huggingface.co/JeonghyeokDo/ReFlowSET)

引用本文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.00968 以从本页面链接。

引用本文的空间0

没有空间链接此论文

在空间 README.md 中引用 arxiv.org/abs/2609.00968 以从本页面链接。

包含本文的收藏0

没有收藏包含本文

将本文添加到收藏 (https://huggingface.co/new-collection) 以从本页面链接。