PhotoQuilt: 无需训练的任意分辨率照片马赛克生成,通过自举分块去噪
摘要
PhotoQuilt 是一个无需训练的框架,通过结合全局布局构图与潜空间中的独立分块生成,生成高分辨率照片马赛克,克服了扩散模型在平衡局部细节与全局结构上的局限性。
查看缓存全文
缓存时间: 2026/07/01 07:41
论文页面 - PhotoQuilt: 基于引导式分块去噪的无训练任意分辨率照片拼贴
来源:https://huggingface.co/papers/2606.30968
摘要
PhotoQuilt 是一个无需训练的框架,通过结合全局布局构图与潜空间中的独立分块生成,生成高分辨率照片拼贴,克服了扩散模型在平衡局部细节与全局结构方面的局限性。
照片拼贴 (https://huggingface.co/papers?q=Photomosaics) 是指局部区域被视为独立图块、而整体排列构成连贯场景的大型图像。以高分辨率生成它们,同时每个图块本身都足够逼真,计算成本极高,因为画布必须同时容纳大量细节丰富的图块。我们提出 PhotoQuilt,这是一个无需训练的框架,能以任意分辨率生成照片拼贴 (https://huggingface.co/papers?q=photomosaics)。扩散模型 (https://huggingface.co/papers?q=Diffusion%20models) 难以同时兼顾两种尺度:直接高分辨率生成成本高昂,且倾向于生成平滑的单一图像而非拼贴效果;而基于图块的分块方法虽能保留局部细节,却会丢失全局结构。PhotoQuilt 通过一种引导式分块去噪过程 (https://huggingface.co/papers?q=denoising%20procedure) 解决了这一问题。我们首先以低分辨率生成全局构图 (https://huggingface.co/papers?q=global%20composition) 以确定布局,然后在潜空间 (https://huggingface.co/papers?q=latent%20space) 中对其进行上采样,并重新注入噪声以恢复生成能力。去噪过程在固定图块内进行,因此每个图块形成自己的图像,而共享的全局结构将它们固定在同一布局中。由于图块生成 (https://huggingface.co/papers?q=tile%20generation) 是分别处理的,PhotoQuilt 可扩展到大型画布,无需二次注意力成本。实验表明,PhotoQuilt 在全局结构和局部真实感 (https://huggingface.co/papers?q=local%20realism) 方面均优于现有基线方法。
查看 arXiv 页面 (https://arxiv.org/abs/2606.30968) 查看 PDF (https://arxiv.org/pdf/2606.30968) 项目页面 (https://kooroshrh.github.io/photo-quilt/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.30968)
在你的智能体中获取这篇论文:
hf papers read 2606.30968
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型0
没有模型链接此论文
在模型的 README.md 中引用 arxiv.org/abs/2606.30968 以在此页面链接。
引用此论文的数据集0
没有数据集链接此论文
在数据集的 README.md 中引用 arxiv.org/abs/2606.30968 以在此页面链接。
引用此论文的 Spaces0
没有 Space 链接此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2606.30968 以在此页面链接。
包含此论文的收藏0
没有包含此论文的收藏
将此论文添加到收藏 (https://huggingface.co/new-collection) 以在此页面链接。
相似文章
Qwen-Image-Flash:超越目标设计
本文研究了视觉生成模型的少步蒸馏训练策略,以Qwen-Image-2.0为例。它揭示了非直观行为,并提出了Qwen-Image-Flash。
SmartPhotoCrafter:统一推理、生成与优化的自动摄影图像编辑
SmartPhotoCrafter 提出一条无需显式人工指令即可统一质量理解与增强的自动摄影图像编辑流水线,在真实感增强任务上超越现有生成模型。
Qwen-Image-Flash(26分钟阅读)
本文来自阿里巴巴,重新审视了视觉生成模型的少步蒸馏,聚焦于训练配方因素如数据组成、教师指导和任务混合,以Qwen-Image-2.0为案例研究,开发了Qwen-Image-Flash。
PixWorld:在像素空间中统一3D场景生成与重建
PixWorld提出了一种统一的像素空间扩散方法,用于3D场景重建与生成,通过直接的图像级监督和几何感知特征对齐,克服了潜在空间方法的局限性。该方法优于先前的生成方法,并达到了与最先进的重建方法相当的性能。
PRX Part 3 — 在24小时内训练文本到图像模型!
Photoroom的 PRX Part 3 演示了如何通过结合优化的架构和训练技术(包括感知损失、TREAD 令牌路由和 Muon 优化器)在24小时内训练文本到图像模型。