标签
本文介绍了M2G-LLM，这是一个通过图神经网络使用多模态图推理来增强大语言模型的框架，旨在利用电子健康记录改进临床预测任务。
本文介绍了Lens，这是一个用于多模态表示学习的无训练框架，它解决了语义视角不对齐的问题，在MMEB数据集上取得了显著的性能提升，无需参数更新。
本文介绍了 Modality Discrepancy Transformer (MDT)，一种新型多模态融合框架，它增强了跨模态差异建模，用于在临床视频中识别矛盾与犹豫，在 BAH 数据集上优于基线方法。
本文介绍了OmniVChat这一原生视听对话任务，并提出了数据引擎、基准测试和强化学习方法，用于训练和评估全能模型，在合成数据和人类录制数据上展示了性能提升。
FLAT引入了一种共享的连续令牌序列，用于图像和文本，从而为生成和检索等多模态任务提供灵活长度的表示，并在基准测试中表现出色。
本文介绍了一种神经-符号分层规划解码器（HPD），用于从多模态片段中预测人类意图。在基准数据集上，它展示了在目标推理和逻辑约束满足方面的性能提升。
本文提出了CoMA-DiT，一种用于多模态脑状态解码中潜在增强的双向跨模态扩散变压器，它通过将配对模态用作相互监督信号来增强听觉注意力解码和情感识别等任务的性能。
本文介绍了一种用于多模态上下文学习的对比建模框架，旨在改进推理路径对齐，提升视觉问答等任务的性能。
本文批判了多模态情感分析中基于优化的平衡策略，指出它们由于混淆拟合速度与判别重要性而失败，并提出了一个专注于留出模态评估的新研究议程。
本文提出RiVaT-Fuse，一种可靠性校准的变分张量融合框架，用于模态不确定性下的多模态预测，该框架估计样本级的潜在状态以提高图像-元数据任务中的预测性能和稳定性。
Radixark 分享了一篇博客文章，介绍 Miles 如何通过为视觉语言模型和扩散模型提供共享的后训练设计来支持人工智能模型的多模态学习。
TC-Next 是一个多模态深度学习模型，利用基础模型预报和卫星图像进行零样本热带气旋路径和强度预测，相比传统追踪器显示出显著的误差降低。
本文介绍了MEL，一个用于EEG到fMRI翻译的坐标保持型EEG标记化框架，通过显式建模血流动力学延迟和频谱空间动态，解决表示接口不匹配问题，并改善预测性能优于基线方法。
MedTVL是一种文本引导的双路径架构，用于医学时间序列分类，它协同时间模态和视觉模态与文本语义，在各种学习设置中展示优越性。
CoVA-SFT是一个大规模数据集与基准，专为训练多模态语言模型在视觉抽象链上构建，以提升视觉推理任务中超越基线的性能。
SpanCalib-VLM提出了一种混合系统，该系统结合了多模态序列标注器和生成式视觉语言模型，以增强幻觉跨度检测和校准，并在SHROOM-Visions任务中实现了性能提升。
本文识别了多模态学习中的强模态坍缩现象，其中融合会降低主导模态的性能，并提出了 Inverted Asymmetric Fusion (IAF) 来保留主导模态，从而在单模态基线上取得改进。
SAGE引入了一个基于CLIP的时间序列预测框架，该框架结合了时间、文本和视觉语义信息以提高准确性，在长期基准测试中实现了最先进的性能。
NeoTriFuse是一个可靠性感知的多模态融合框架，用于新生儿死亡率风险预测。它显式地将缺失数据建模为可靠性信号，以动态调整特征贡献，从而在不完整的临床监测数据上提升性能。
本文提出结构化证据路由，一种路由器-预测器-审阅者工作流程，用于从多模态纵向电子健康记录进行事件风险预测。该方法在性能上与现有方法具有竞争力，并提供可解释的患者特定证据轨迹。