论文页面 - 在推理时将图像引导注入文本条件扩散模型

来源：https://huggingface.co/papers/2605.25191

摘要

视觉概念融合通过特征对齐与融合策略，实现了扩散模型中的文本与图像双条件控制，且无需重新训练。

文本到图像扩散模型（如Stable Diffusion）可从文本生成高质量图像，但缺乏在推理时无需重训练即可注入视觉引导（如草图、风格）的能力。现有方法要么需要计算昂贵的微调，要么依赖可能因风格迁移技术而导致与文本提示语义失配的方法。我们提出视觉概念融合（VCF），这是首个在推理时无需任何概念特定训练即可实现对图像和文本提示双重条件控制的方法。VCF通过将CLIP图像特征与文本嵌入空间对齐，实现了向Stable Diffusion中注入视觉概念。VCF包含三个组件：(1) 轻量级对齐器，利用InfoNCE和交叉注意力重建损失将图像令牌映射到文本嵌入流形；(2) 融合策略，保留文本和视觉语义；(3) 可选的提示-噪声优化（PNO）模块，用于测试时精炼。实验表明，VCF能成功从参考图像传递风格、构图和调色板等视觉属性，同时保持对提示的忠实度。定量结果展示了文本对齐（CLIP分数）与视觉对应（LPIPS）之间的权衡，VCF在参考保真度方面优于基线方法。

查看 arXiv 页面（https://arxiv.org/abs/2605.25191）查看 PDF（https://arxiv.org/pdf/2605.25191）GitHub0（https://github.com/thijmennijdam/stable-diffusion-v2）添加至收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.25191）

在您的代理中获取此论文：

hf papers read 2605\.25191

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2605.25191 以从本页链接。

引用此论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2605.25191 以从本页链接。

引用此论文的Spaces0

没有Space链接此论文

请在Space README.md 中引用 arxiv.org/abs/2605.25191 以从本页链接。

包含此论文的收藏集0

没有包含此论文的收藏集

请将此论文添加到收藏集（https://huggingface.co/new-collection）以从本页链接。