标签
FLAT是一个表示预训练框架，联合优化共享多模态编码器与下游文本到图像和图像到文本解码器，使用柔性长度对齐的1D序列，实现具有最先进结果的跨模态检索与生成。
MKGR 是一个多模态框架，结合蛋白质序列编码与四个生物医学知识图谱，以改进冷启动蛋白质-蛋白质相互作用预测，在基准数据集上优于基线方法。
阿里巴巴研究人员提出 AFMRL，一种两阶段框架，利用 MLLM 提取商品属性，增强细粒度多模态表征学习，用于电商检索任务。