PhotoQuilt: 无需训练的任意分辨率照片马赛克生成,通过自举分块去噪

Hugging Face Daily Papers 论文

摘要

PhotoQuilt 是一个无需训练的框架,通过结合全局布局构图与潜空间中的独立分块生成,生成高分辨率照片马赛克,克服了扩散模型在平衡局部细节与全局结构上的局限性。

照片马赛克是一种大图像,其局部区域被视为独立的分块,而整体排列则构成一个连贯的场景。以高分辨率生成它们,且每个分块本身都令人信服,计算成本很高,因为画布必须同时容纳许多细节丰富的分块。我们提出 PhotoQuilt,一个无需训练的框架,能够以任意分辨率生成照片马赛克。扩散模型难以同时满足两种尺度,因为直接高分辨率生成成本高昂且倾向于生成平滑图像而非马赛克,而基于分块的平铺则保留了局部细节但失去了全局结构。PhotoQuilt 通过自举分块去噪过程解决了这一问题。我们首先以低分辨率生成全局构图以固定布局,然后在潜空间中放大并重新注入噪声以恢复生成能力。去噪在固定分块内进行,因此每个分块形成自己的图像,而共享的全局结构将它们保持在一个布局中。由于分块生成是独立处理的,PhotoQuilt 可以扩展到大型画布,而无需二次注意力成本。实验表明,PhotoQuilt 在全局结构和局部真实感方面均优于当前基线。
查看原文
查看缓存全文

缓存时间: 2026/07/01 07:41

论文页面 - PhotoQuilt: 基于引导式分块去噪的无训练任意分辨率照片拼贴

来源:https://huggingface.co/papers/2606.30968

摘要

PhotoQuilt 是一个无需训练的框架,通过结合全局布局构图与潜空间中的独立分块生成,生成高分辨率照片拼贴,克服了扩散模型在平衡局部细节与全局结构方面的局限性。

照片拼贴 (https://huggingface.co/papers?q=Photomosaics) 是指局部区域被视为独立图块、而整体排列构成连贯场景的大型图像。以高分辨率生成它们,同时每个图块本身都足够逼真,计算成本极高,因为画布必须同时容纳大量细节丰富的图块。我们提出 PhotoQuilt,这是一个无需训练的框架,能以任意分辨率生成照片拼贴 (https://huggingface.co/papers?q=photomosaics)。扩散模型 (https://huggingface.co/papers?q=Diffusion%20models) 难以同时兼顾两种尺度:直接高分辨率生成成本高昂,且倾向于生成平滑的单一图像而非拼贴效果;而基于图块的分块方法虽能保留局部细节,却会丢失全局结构。PhotoQuilt 通过一种引导式分块去噪过程 (https://huggingface.co/papers?q=denoising%20procedure) 解决了这一问题。我们首先以低分辨率生成全局构图 (https://huggingface.co/papers?q=global%20composition) 以确定布局,然后在潜空间 (https://huggingface.co/papers?q=latent%20space) 中对其进行上采样,并重新注入噪声以恢复生成能力。去噪过程在固定图块内进行,因此每个图块形成自己的图像,而共享的全局结构将它们固定在同一布局中。由于图块生成 (https://huggingface.co/papers?q=tile%20generation) 是分别处理的,PhotoQuilt 可扩展到大型画布,无需二次注意力成本。实验表明,PhotoQuilt 在全局结构和局部真实感 (https://huggingface.co/papers?q=local%20realism) 方面均优于现有基线方法。

查看 arXiv 页面 (https://arxiv.org/abs/2606.30968) 查看 PDF (https://arxiv.org/pdf/2606.30968) 项目页面 (https://kooroshrh.github.io/photo-quilt/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.30968)

在你的智能体中获取这篇论文:

hf papers read 2606.30968

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2606.30968 以在此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2606.30968 以在此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2606.30968 以在此页面链接。

包含此论文的收藏0

没有包含此论文的收藏

将此论文添加到收藏 (https://huggingface.co/new-collection) 以在此页面链接。

相似文章

Qwen-Image-Flash:超越目标设计

Hugging Face Daily Papers

本文研究了视觉生成模型的少步蒸馏训练策略,以Qwen-Image-2.0为例。它揭示了非直观行为,并提出了Qwen-Image-Flash。

Qwen-Image-Flash(26分钟阅读)

TLDR AI

本文来自阿里巴巴,重新审视了视觉生成模型的少步蒸馏,聚焦于训练配方因素如数据组成、教师指导和任务混合,以Qwen-Image-2.0为案例研究,开发了Qwen-Image-Flash。

PixWorld:在像素空间中统一3D场景生成与重建

Hugging Face Daily Papers

PixWorld提出了一种统一的像素空间扩散方法,用于3D场景重建与生成,通过直接的图像级监督和几何感知特征对齐,克服了潜在空间方法的局限性。该方法优于先前的生成方法,并达到了与最先进的重建方法相当的性能。