multimodal-learning

标签

Cards List
#multimodal-learning

NeoTriFuse:基于缺失异质性的可靠性感知多模态融合用于新生儿死亡率风险预测

arXiv cs.LG ↗ · 2026-08-28 缓存

NeoTriFuse是一个可靠性感知的多模态融合框架,用于新生儿死亡率风险预测。它显式地将缺失数据建模为可靠性信号,以动态调整特征贡献,从而在不完整的临床监测数据上提升性能。

0 人收藏 0 人点赞
#multimodal-learning

基于多模态纵向EHRs的事件风险预测的结构化证据路由

arXiv cs.AI ↗ · 2026-08-28 缓存

本文提出结构化证据路由,一种路由器-预测器-审阅者工作流程,用于从多模态纵向电子健康记录进行事件风险预测。该方法在性能上与现有方法具有竞争力,并提供可解释的患者特定证据轨迹。

0 人收藏 0 人点赞
#multimodal-learning

Drift Variation Autoencoder:通过条件后验流匹配统一生成与表示学习

arXiv cs.LG ↗ · 2026-08-27 缓存

本文介绍了Drift Variation自动编码器,它使用条件后验流匹配来统一生成和表示学习,在受控多模态基准测试中实现了高性能。

0 人收藏 0 人点赞
#multimodal-learning

CAT-GS:通过校准门控和融合手术实现平衡的多模态学习

arXiv cs.LG ↗ · 2026-08-27 缓存

CAT-GS 提出一种基于神经动力学的优化控制器,通过解决模态不平衡和融合干扰来稳定多模态学习,在各种基准测试中实现更高的准确率。

0 人收藏 0 人点赞
#multimodal-learning

Laion 大型视频数据集

Hacker News Top ↗ · 2026-08-27 缓存

LAION-BVD 是一个面向多模态预训练的大规模开放视频数据集,包含8000万个视频,并在标准基准测试中表现优异,旨在支持人工智能领域的开放研究。

0 人收藏 0 人点赞
#multimodal-learning

Giraffe: 一种从隐藏文本表示到视觉嵌入的映射架构,用于高效图形设计

arXiv cs.AI ↗ · 2026-08-26 缓存

Giraffe引入了一种新颖的映射架构,该架构将隐藏文本表示转换为视觉嵌入,每图像使用单个令牌,从而在多模态大型语言模型中实现高效的图形设计生成。

0 人收藏 0 人点赞
#multimodal-learning

使用不规则电子健康记录的多模态提示学习用于重症监护患者的鲁棒监测

arXiv cs.AI ↗ · 2026-08-25 缓存

该论文提出了一种多模态提示学习框架,用于处理电子健康记录中的缺失模态,以实现重症监护病房中的鲁棒临床预测,引入了四种提示类型来捕获依赖关系和交互作用。

0 人收藏 0 人点赞
#multimodal-learning

LAION-BVD:用于多模态预训练的千万小时开放视频数据集

Hugging Face Daily Papers ↗ · 2026-08-25 缓存

LAION-BVD是一个大规模开放视频数据集,包含1000万小时的视频数据,用于多模态预训练,具有合成字幕和竞争力的基准性能。

0 人收藏 0 人点赞
#multimodal-learning

基于文献信息环境背景的EEG情感状态神经地理空间建模

arXiv cs.AI ↗ · 2026-08-24 缓存

本文介绍了一种双塔架构,将EEG数据与文献信息环境先验相结合用于情感状态分类,证明了仅使用EEG时的准确性提升,同时强调了方法学进步,而非暴露-情感的因果关联。

0 人收藏 0 人点赞
#multimodal-learning

用于多模态理解和生成的解耦视觉-语言系统

arXiv cs.CL ↗ · 2026-08-24 缓存

本文介绍了Libra,这是一种针对多模态大型语言模型的解耦视觉-语言架构,能够实现图像到文本的理解和文本到图像的生成,在基准测试中表现出色。

0 人收藏 0 人点赞
#multimodal-learning

超越多模态对齐:通过响应替换和有序执行认证物理语言

arXiv cs.LG ↗ · 2026-08-21 缓存

本文介绍Disjoint-Bridge Operator-Substitution Certificate (DBOSC),以认证模态编译器在物理语言表示中的可互换性,并评估受控弹塑性系统中的有序执行,分离了属性访问、响应替换、融合闭包和有序执行的不同能力。

0 人收藏 0 人点赞
#multimodal-learning

仅需训练投影器

arXiv cs.CL ↗ · 2026-08-21 缓存

本文表明,在多模态大语言模型中仅训练投影器,即可在3D任务上取得优异性能,避免语言模型漂移,并且相比联合训练方法提高了训练效率。

0 人收藏 0 人点赞
#multimodal-learning

MARCUS:基于上下文城市信号的缺失感知区域表示用于租金预测

arXiv cs.LG ↗ · 2026-08-20 缓存

本文提出MARCUS,一种缺失感知区域表示模型,将缺失数据视为上下文城市信号用于租金预测,在现实世界数据集上实现了最先进的性能,显著降低了误差。

0 人收藏 0 人点赞
#multimodal-learning

心理健康中的大语言模型:应用、创新与伦理挑战的系统性综述

arXiv cs.AI ↗ · 2026-08-20 缓存

本系统综述探讨了大语言模型在心理健康领域的应用,涵盖了临床对话代理和多模态学习等领域的创新,同时强调了伦理挑战并倡导安全部署框架。

0 人收藏 0 人点赞
#multimodal-learning

哪个来源更可靠?视觉语言模型中的任务依赖性

arXiv cs.CL ↗ · 2026-08-19 缓存

本文研究视觉语言模型在图像或文本模态退化时如何调整对两者依赖的机制,揭示了任务依赖性行为,并引入了一个新的冲突基准用于评估。

0 人收藏 0 人点赞
#multimodal-learning

使用代理群体构建世界模型

Reddit r/AI_Agents ↗ · 2026-08-18

作者描述了构建一个世界模型框架,该框架协调研究代理以最大化评估指标,使用地理空间输入在多模态掩码重建任务中实现了25倍的分数提升。

0 人收藏 0 人点赞
#multimodal-learning

LUNG-KGMM: 知识引导的多模态学习用于肺癌发生率预测

arXiv cs.LG ↗ · 2026-08-18 缓存

论文提出了LUNG-KGMM,一个知识引导的多模态框架,通过整合EHR、放射学数据和临床指南来预测肺癌发生率,在MIMIC数据集上展示了优越的性能,并进行了现实世界验证。

0 人收藏 0 人点赞
#multimodal-learning

The Unwritten Benchmark: 多模态机器学习在抽象感知推理中的新挑战

arXiv cs.AI ↗ · 2026-08-18 缓存

本文介绍了The Unwritten Benchmark,这是一个用于评估多模态AI模型抽象感知推理能力的新挑战,揭示了人类与当前模型如GPT-4o和Gemini 2.5-Pro之间的显著性能差距。

0 人收藏 0 人点赞
#multimodal-learning

超越视觉思维链:内化视觉思维的主动视频推理

Hugging Face Daily Papers ↗ · 2026-08-16 缓存

本文介绍了内化视觉思维(IVT),一个后训练框架,该框架训练多模态模型预测未来帧嵌入,从而无需合成中间图像即可直接生成答案,将主动视频推理的延迟降低5倍以上。

0 人收藏 0 人点赞
#multimodal-learning

NARU:一个针对日本超长视频中叙事演进和文化细微差理解的基准

Hugging Face Daily Papers ↗ · 2026-08-13 缓存

NARU 是一个评估日本超长视频中叙事演进和文化推理的基准,通过分层标注管道和母语者验证构建,以解决当前基准的空白。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈