cross-modal-reasoning

MCBench是一个新基准，用于评估全模态大语言模型在视觉、音频和文本模态下的安全性。它包含1196个场景，并发现当前模型难以进行跨模态安全推理。

本文提出了一种新颖的方法，将扩散模型以多模态大语言模型（MLLMs）为条件，用于主体驱动图像生成，使用基于VAE的身份条件化和双层聚合模块，提高语义理解和身份保持，同时减轻复制粘贴伪影。