cross-modal-alignment

CALM 是一个从完全无配对的数据集中学习脑区与遗传通路之间可解释关联的框架，能够在无需配对多模态数据的情况下，为自闭症等神经精神疾病发现生物标志物。

本文引入稀疏自编码器来解决神经网络中的叠加问题，提高潜在空间的可解释性和几何保真度，并提出GW-map实现图像表示与单细胞RNA测序数据之间的跨模态对齐。

FLUX3D引入了一个框架，通过利用扩散对齐的结构化潜变量和稀疏结构感知的扩散变压器来增强表示学习和跨模态对齐，实现高保真图像到3D高斯泼溅生成，取得了最先进的结果。

HeRA 在多模态大型语言模型 (MLLMs) 中对齐单个注意力头，以保留跨模态的局部邻域关系，从而提升视觉中心任务的性能并减少视觉幻觉。

本文研究了Platonic Representation Hypothesis，提出对齐源于表示中的线性结构，并引入了一个包含信号、偏置和噪声的统计框架。