无需训练的多概念LoRA组合：基于提示感知权重

低秩适配（LoRA）通过将预训练扩散模型适配到特定视觉概念和风格，成功实现了文本到图像生成中的个性化。然而，将此类模型扩展到多概念定制仍然具有挑战性。简单地将多个 LoRA 权重或其输出进行组合，往往会导致概念之间的干扰，从而降低视觉质量并减少单个概念参考图像的保真度。本文提出了一种简单而有效的多概念定制方法，通过最优组合多个 LoRA 模块的输出。我们利用了生成过程中每个概念的相对重要性（从其对应的提示词中推断得出），并引入了两种方法：W-Switch 和 W-Composite。这两种方法采用了一种基于提示感知的重要性加权策略，其中每个 LoRA 根据其触发词在目标提示中的语义影响进行加权。此外，我们扩展了现有的量化评估指标，提出了一种新的基于图像的相似性评估框架，该框架通过比较真实参考图像和生成图像中自动分割的概念区域，来评估图像保真度和身份保持。我们在 ComposLoRA 测试平台上评估了我们的方法，并证明了在视觉质量、身份保持和组合性方面，该方法持续优于现有的最先进方法。定性评估，包括基于大语言模型（LLM）的评估和用户研究，进一步验证了所提方法的有效性，并与新引入的基于图像的量化指标相一致。我们的代码可在 https://github.com/GeorgeTsoumplekas/Prompt-Aware-Multi-LoRA-Composition 获取。