精炼本质上是可编辑的:基于生成精炼网络的免训练提示到提示图像编辑

Hugging Face Daily Papers 论文

摘要

RefineEdit 是一种免训练的提示到提示图像编辑方法,它使用生成精炼网络来增强编辑定位和背景保留,实现了顶级的基准分数。

文本引导的图像编辑必须在引入所需更改的同时保留无关的源内容。基于扩散的编辑器依赖空间控制,其不准确性可能导致编辑不完整或改变无关区域。因果自回归编辑器面临进一步约束:其固定的解码顺序限制了早期决策的修订。我们引入了 RefineEdit,这是一个基于生成精炼网络的免训练提示到提示图像编辑框架。我们的核心思想是通过二进制图像码的全局精炼将编辑定位与内容生成相结合,允许随着图像的演变重新评估编辑证据。RefineEdit 从一个中间源状态初始化一个编辑分支,重用新兴的布局。我们比较两个分支对相同源采样位分配的概率,使用其符号差异来选择可编辑的位置和位。选定的位遵循编辑精炼,而其余的位复制演变的源状态。为了在精炼步骤中稳定编辑,自适应空间冻结限制不必要的掩码扩展,而有限位锁定保持最近选定的位可编辑。该框架无需额外的训练、外部掩码或注意力控制。在 PIE-Bench 的九个编辑类别中,RefineEdit 在 PSNR、LPIPS、MSE 和 SSIM 方面实现了最佳的背景保留分数,并在评估方法中获得了最高的整体图像和编辑区域 CLIP 分数。
查看原文
查看缓存全文

缓存时间: 2026/09/21 15:22

论文页面 - 精炼即编辑:基于生成精炼网络的无需训练提示到提示图像编辑

来源:https://huggingface.co/papers/2609.20633

摘要

文本引导的图像编辑必须在引入所需修改的同时保留不相关的源内容。基于扩散的编辑器依赖空间控制,其不准确性可能导致编辑不完整或改变无关区域。因果自回归编辑器面临进一步限制:固定的解码顺序限制了对早期决策的修正。我们提出RefineEdit,一个基于生成精炼网络的无需训练提示到提示图像编辑框架。我们的核心思想是通过二值图像码的全局精炼将编辑定位与内容生成耦合,使得编辑证据能够随着图像的演化而重新评估。RefineEdit从中间源状态初始化编辑分支,复用已显现的布局。我们比较两个分支分配给相同源采样位的概率,使用其带符号的差异来选择可编辑位置和位。选定位遵循编辑精炼,而其余位则复制演化的源状态。为稳定跨精炼步骤的编辑,自适应空间冻结限制了不必要的掩膜扩展,同时有限位锁定保持最近选定位的可编辑性。该框架无需额外训练、外部掩膜或注意力控制。在PIE-Bench的九个编辑类别中,RefineEdit在PSNR、LPIPS、MSE和SSIM指标上取得了最佳背景保留分数,并在评估方法中获得了最高的全图像和编辑区域CLIP分数。

查看arXiv页面 (https://arxiv.org/abs/2609.20633)查看PDF (https://arxiv.org/pdf/2609.20633)GitHub7 (https://github.com/mura1n/RefineEdit)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.20633)

获取论文到您的代理:

hf papers read 2609.20633

没有最新CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

无关联模型

在模型README.md中引用arxiv.org/abs/2609.20633以从此页面链接。

引用本文的数据集0

无关联数据集

在数据集README.md中引用arxiv.org/abs/2609.20633以从此页面链接。

引用本文的空间0

无关联空间

在空间README.md中引用arxiv.org/abs/2609.20633以从此页面链接。

包含本文的收藏0

无包含本文的收藏

将本文添加到收藏 (https://huggingface.co/new-collection)以从此页面链接。

相似文章

RefGC-SR^2:参考引导的生成内容超分辨率与精炼

Hugging Face Daily Papers

本文提出了一项新任务:参考引导的生成内容超分辨率与精炼(RefGC-SR²),该任务利用频率感知扩散变换器模型,同时恢复高分辨率细节并修正生成伪影。该方法在后处理阶段利用高分辨率参考图像提升AI生成图像的质量。

UltraX:通过自适应程序化编辑大规模优化预训练数据

arXiv cs.CL

UltraX 提出了一种面向大规模预训练数据的函数调用式优化框架,在删除和修改之外引入插入操作,补全了编辑函数空间,从而实现细粒度的实例级编辑。该框架构建了可靠的程序监督生成流水线,在从头训练 1B 模型时,展示了更优的数据效率和模型性能。