标签
本文介绍了 Repr-Align，一种通过表征对齐将自回归语言模型适配为扩散语言模型的方法，无需从头重新训练表征即可实现高达 4 倍的训练加速。
本文提出了 AnisoAlign 框架，该框架通过应用各向异性几何校正来解决多模态模型中的模态间隙问题，从而实现有效的非配对模态对齐。
本文介绍了 TextLDM，这是一种通过将离散标记映射到连续潜在空间，从而将视觉潜在扩散Transformer适配于语言建模的方法。研究表明，该方法在表示对齐的增强下，达到了与 GPT-2 相当的性能，并统一了视觉与文本生成的架构。
本文提出了 UniSD，这是一种用于适应大型语言模型的统一自蒸馏框架，整合了监督可靠性、表征对齐和训练稳定性的机制。实验结果表明，UniSD 在多个基准测试中均优于基础模型和现有基线方法。
MMCORE 提出一个统一的多模态图像生成与编辑框架，将 VLM 语义嵌入与扩散条件对齐，无需昂贵融合或从零训练即可实现顶尖保真度。