标签
该论文提出了 MOSAIC，一种采用模态间交叉注意力和按模态划分的梯度路由的模态分离架构。与基于融合的基线模型相比，该架构在 CEJC 语料库的四项任务上将平均宏观 F1 分数提高了 7.4 个百分点，同时将骨干网络参数量减少了 72%。
本文利用扩展后的 Khana 数据集和七种视觉模型，研究了不同的预训练视觉表征如何将印度食物组织成相似性邻域，发现食物相似性取决于表征、模态和抽象层次，而非食物的固有属性。
该论文提出了一种接触式多模态筛查框架，利用与 Amazon Alexa 交互过程中采集的视频、音频和文本信号来检测轻度认知障碍（MCI），实验表明多模态融合模型在 Command-Reading 和 Question-Answering 任务上均达到 0.76 的准确率，优于单一模态模型。
论文提出 CogDrills-4D（CogDrift-4D），一种层级式 4D Transformer 多模态框架，通过 18 个月内七次非脚本化交互的行为数据建模时间性行为衰退，用于轻度认知障碍（MCI）早期检测，分类准确率达 0.733±0.13。
该论文通过受控消融实验研究原生多模态预训练中视觉信号对扩展行为的影响，发现视觉内容作为可扩展锚点不仅能提升多模态理解，其收益还能延伸到纯文本空间推理任务（如定位、导航和符号规划），同时不损害整体语言性能。
EVA-Cap 提出一种事件中心的音视频视频描述框架，将描述分解为原子事件并通过 SFT 与 GRPO 优化对齐，在 ChronusAV 上平均提升 9.0%，在 WorldSense 上提升 3.3%。
Lluna通过将私有单模态预测与基于图的残差协同分支以及渐进一致性训练相结合，在部分输入模态缺失时提升多模态预测性能，在八个数据集上相比基线方法平均将Mean-Missing指标提升了4.26%。
PXtal 提出一种在模态间信息不对称条件下对齐粉末X射线衍射（PXRD）与晶体结构表示的框架，利用非平衡最优传输（UOT）和广义Kullback-Leibler散度监督传输计划，在PXRD到晶体候选检索及下游材料任务上优于基线模型。
该论文提出一种泄漏可控的多模态多任务学习框架，结合SFCN MRI编码器、因果临床Transformer和ODE-GRU动力学，用于阿尔茨海默病诊断与病程进展预测，在ADNI、OASIS-2、MIRIAD数据集上取得内部诊断AUROC 0.935、混合AUROC 0.951，并在OASIS-3上完成外部验证。
TouchScale 引入了一个 500 小时的人类视觉-触觉交互数据集，使用统一的可穿戴设备同步采集 egocentric RGB-D 视频、手腕视频与全手双触觉测量，用于视觉-触觉预训练和机器人操作策略学习，在零样本触觉预测和真实机器人操作成功率上均取得显著提升。
TasteBench 推出了一个面向感官预测的多模态基准及注重隐私保护的竞赛，涵盖食品层面的风味排序（对215种植物基食品进行超过2.1万次人类评价）和分子层面的味觉分类（1.5万个风味分子），其基线模型在两两比较准确率上可与人类感官评审的中位水平相媲美。该基准旨在为可持续蛋白质的发现提供计算层面的代理手段，其意义类似于药物设计中的分子对接。
MERID 是一个多模态抑郁症分析框架，通过经验驱动的递归自我改进智能体自动探索和优化检测流水线，在多个抑郁症基准上取得领先结果。
本文提出了 CALIBRA，这是一个校准优先的多模态时序框架，用于跨队列的哮喘风险预测。该框架采用循环编码器、梯度反转域自适应、分层逻辑校准以及保形预测，以在分布偏移和模态缺失的情况下保持预测可靠性，并在一个半合成的三队列基准上得到了验证。
论文提出了Tex-Zero，一个完全基于构建的2D图像（而非真实3D资产）训练的原生3D纹理生成框架。该方法通过平面表示和分块随机旋转将高质量2D图像转换为3D训练样本，证明了在无需3D资产数据的情况下也能实现高保真纹理合成。
PixelJev被介绍为一种原生图像决策接口，使用小型开放多模态模型将图像、指令和候选集映射到结构化选择。该研究表明，在Pets等基准测试中，自适应提高了准确性，并突出了校准和泛化方面的挑战。
本文提出AV-GRPO，一个用于联合音视频生成的模态锚定强化学习框架，相比现有方法，提高了生成质量、语义对齐和跨模态同步性。
本文系统地评估了多模态文档问答的输入表示（图像、文本或两者），发现图像可以提高准确性但增加延迟，并提出了一种TF-IDF路由机制来优化性能。
本文介绍了RecCAR，一种正则化方法，用于解决联合多模态扩散变换器中的互惠对应差距，从而提高视频生成任务的性能。
本文介绍了一种通用多模态基础模型，能够处理任意模态组合与预测任务，通过在具有多样化因果结构的大规模合成数据集上训练，实现了具有竞争力的性能。
该研究在用于临床预测的视觉-语言模型中识别出'ECG幻象'，即模型尽管具有明显的多模态能力，但未能充分利用ECG数据，并提出了视觉提示调优作为一种高效的缓解策略。