标签
NeoTriFuse是一个可靠性感知的多模态融合框架,用于新生儿死亡率风险预测。它显式地将缺失数据建模为可靠性信号,以动态调整特征贡献,从而在不完整的临床监测数据上提升性能。
本文提出结构化证据路由,一种路由器-预测器-审阅者工作流程,用于从多模态纵向电子健康记录进行事件风险预测。该方法在性能上与现有方法具有竞争力,并提供可解释的患者特定证据轨迹。
本文介绍了Drift Variation自动编码器,它使用条件后验流匹配来统一生成和表示学习,在受控多模态基准测试中实现了高性能。
CAT-GS 提出一种基于神经动力学的优化控制器,通过解决模态不平衡和融合干扰来稳定多模态学习,在各种基准测试中实现更高的准确率。
LAION-BVD 是一个面向多模态预训练的大规模开放视频数据集,包含8000万个视频,并在标准基准测试中表现优异,旨在支持人工智能领域的开放研究。
Giraffe引入了一种新颖的映射架构,该架构将隐藏文本表示转换为视觉嵌入,每图像使用单个令牌,从而在多模态大型语言模型中实现高效的图形设计生成。
该论文提出了一种多模态提示学习框架,用于处理电子健康记录中的缺失模态,以实现重症监护病房中的鲁棒临床预测,引入了四种提示类型来捕获依赖关系和交互作用。
LAION-BVD是一个大规模开放视频数据集,包含1000万小时的视频数据,用于多模态预训练,具有合成字幕和竞争力的基准性能。
本文介绍了一种双塔架构,将EEG数据与文献信息环境先验相结合用于情感状态分类,证明了仅使用EEG时的准确性提升,同时强调了方法学进步,而非暴露-情感的因果关联。
本文介绍了Libra,这是一种针对多模态大型语言模型的解耦视觉-语言架构,能够实现图像到文本的理解和文本到图像的生成,在基准测试中表现出色。
本文介绍Disjoint-Bridge Operator-Substitution Certificate (DBOSC),以认证模态编译器在物理语言表示中的可互换性,并评估受控弹塑性系统中的有序执行,分离了属性访问、响应替换、融合闭包和有序执行的不同能力。
本文表明,在多模态大语言模型中仅训练投影器,即可在3D任务上取得优异性能,避免语言模型漂移,并且相比联合训练方法提高了训练效率。
本文提出MARCUS,一种缺失感知区域表示模型,将缺失数据视为上下文城市信号用于租金预测,在现实世界数据集上实现了最先进的性能,显著降低了误差。
本系统综述探讨了大语言模型在心理健康领域的应用,涵盖了临床对话代理和多模态学习等领域的创新,同时强调了伦理挑战并倡导安全部署框架。
本文研究视觉语言模型在图像或文本模态退化时如何调整对两者依赖的机制,揭示了任务依赖性行为,并引入了一个新的冲突基准用于评估。
作者描述了构建一个世界模型框架,该框架协调研究代理以最大化评估指标,使用地理空间输入在多模态掩码重建任务中实现了25倍的分数提升。
论文提出了LUNG-KGMM,一个知识引导的多模态框架,通过整合EHR、放射学数据和临床指南来预测肺癌发生率,在MIMIC数据集上展示了优越的性能,并进行了现实世界验证。
本文介绍了The Unwritten Benchmark,这是一个用于评估多模态AI模型抽象感知推理能力的新挑战,揭示了人类与当前模型如GPT-4o和Gemini 2.5-Pro之间的显著性能差距。
本文介绍了内化视觉思维(IVT),一个后训练框架,该框架训练多模态模型预测未来帧嵌入,从而无需合成中间图像即可直接生成答案,将主动视频推理的延迟降低5倍以上。
NARU 是一个评估日本超长视频中叙事演进和文化推理的基准,通过分层标注管道和母语者验证构建,以解决当前基准的空白。