ImIR: 基于图像指令调优的一体化图像修复
摘要
ImIR 通过使用源自图像的指令,适配预训练图像编辑模型以执行六种图像修复任务,实现高效且任务无关的修复。
查看缓存全文
缓存时间: 2026/09/23 11:32
论文页面 - ImIR:面向一体化图像修复的图像-指令调优
来源:https://huggingface.co/papers/2609.25267 ImIR:面向一体化图像修复的图像-指令调优 — ACCV 2026
ImIR 将一个预训练的图像编辑模型适配到六种修复任务中:低光增强、去雨、去雾、去模糊、去噪和 JPEG 伪影去除。其任务无关变体仅使用输入图像进行图像修复,无需文本提示、参考图像或降质标签。
主要亮点如下:
- 图像衍生指令。 一个轻量级的标记映射器从降质图像的视觉-语言嵌入中预测出干净图像指令,替代了手动编写的修复提示。
- 一个适配器跨越六项任务。 在匹配的对比中,图像条件优于文本条件,并支持任务无关修复——在这一场景下,中性文本和VLM生成的文本提示效果均不佳。
- 连续控制。 对于具有非唯一目标的任务(例如低光增强中的曝光),缩放指令可产生不同的合理修复结果。
- 高效适配。 实验设置使用了688对图像,在一块NVIDIA H100上大约耗时三小时。
推理代码和任务无关的模型权重已公开提供。项目页面包含交互式修复对比和指令尺度示例。
论文 (https://arxiv.org/abs/2609.25267) · 项目页面 (https://suleymanaslan.github.io/imir/) · 代码 (https://github.com/suleymanaslan/imir) · 权重 (https://huggingface.co/suleymanaslan/imir)
@article{aslan2026imirimageinstructiontuningallinone,
title={{ImIR}: Image-Instruction Tuning for All-in-One Image Restoration},
author={Süleyman Aslan and Görkay Aydemir and Mısra Yavuz
and Yunus Bilge Kurt and Nasrin Rahimi and Ahmet Rasim Emirdağı
and Burak Can Biner and M. Akın Yılmaz},
journal={arXiv preprint arXiv:2609.25267},
year={2026},
url={https://arxiv.org/abs/2609.25267}
}
相似文章
Mi-Ripple:修复迭代AI编辑导致退化的图像
Mi-Ripple是一个工作流程,通过频谱过滤和参考清理来减少AI编辑图像中的数字波纹伪影,抑制伪影同时保持图像结构。
MirrorPPR:基于示例的人像照片修图
MirrorPPR 提出了一种基于示例的人像修图框架,采用带有 LoRA 适应的扩散变换器和自增强训练数据,实现了卓越的质量和身份保持。
文本-视觉协同指导的图像编辑
一种名为TV-Edit的新框架,结合文本指令和视觉提示实现精确图像编辑,并附带基准TV-Edit-Bench用于评估。该方法在空间控制和语义忠实度上优于现有方法。
PixRestore:通过像素扩散变换器实现统一图像恢复
PixRestore是一种无VAE的像素空间扩散变换器,用于统一图像恢复,通过流匹配和对抗性微调至单步生成器,实现高保真度和效率。
UniH3:统一层级同质性与异质性用于一体化医学图像恢复
UniH3 提出了一种统一框架,用于一体化医学图像恢复,通过利用层级同质性和异质性,在基准测试中实现了最先进的性能。