标签
GAS 引入了一种生成引导的训练框架,通过解耦的混合Transformer架构,使用辅助生成任务来提高多模态模型中的视觉理解,且无推理开销。
本文分析了针对CHiME-9 MCoRec鸡尾酒会场景的多模态系统,比较了音视频目标语音分离、改进的识别、基于大语言模型的对话分组等设计策略,发现仅语音重叠并不能解释性能差异。
介绍了AutoProteinEngine(AutoPE),这是一个由大语言模型驱动的智能体框架,使不具备深度学习专业知识的生物学家能够通过自然语言执行蛋白质工程中的多模态AutoML,展示了相比零样本和手动微调方法的性能提升。
本文提出了 PhenMol,一个保持结构的表型感知分子表示学习框架,它在保留化学结构邻域组织的同时整合细胞表型信息,从而改进分子性质预测和药物发现任务。
本文提出了SentiLLM,一个利用语义对齐结构抽象将非语言模态提炼为类文本标记的框架,用于基于大语言模型的多模态情感分析。它引入了一种双流显著性-上下文校准机制,并在四个数据集上取得了优越的性能。
本文提出HCIG,一种用于多模态讽刺和网络霸凌检测的分层跨模态不一致性图网络,在MMSD和MultiBully数据集上取得了最先进的性能。
该论文提出将多模态患者数据(文本、实验室结果、生命体征)转换为单一自然语言序列,并对大型语言模型进行微调以用于临床预测,在三个任务中实现了与专用融合架构相当或更优的性能。
提出并行量子特征增强(PQFA),这是一种混合量子-经典框架,应用浅层变分量子电路来增强融合的多模态特征,以更少的参数超越经典基线。
本文评估了最先进的表格模型作为编码器在图像-表格多模态学习中的表现,解决了使用需要标签来嵌入训练和测试实例的上下文学习模型所面临的挑战。
提出了一种细粒度多模态框架,采用 Binary Advantage-weighting Ranking Loss 进行自动抑郁检测,在 D-vlog 和 LMVD 数据集上取得了最先进的结果。
ViQ提出了一种视觉量化框架,在离散表示中平衡了语义丰富性和细节保留,通过文本对齐预训练和邻近表示学习,支持原生分辨率输入,实现高效的多模态训练。
MOLAR提出了一种噪声感知框架,通过将干净属性推理与观测到的标签噪声分离,从噪声标签中学习多模态分子表征,在分子基准测试中优于基线方法。
本文提出一种多模态学习的信息论分析,揭示了捕捉样本特定交互的必要性,并提出了DMIL范式,通过变分分解和微调显式建模和学习这些交互,实现了优越性能。
本文介绍了GLACIER,一种多模态学生-教师基础模型,它整合了分子图、SMILES字符串和物理化学描述符,以高效预测分子性质。它利用Finsler几何感知融合以及来自更大教师模型(MiniMol、MolFormer)的知识蒸馏,以轻量级架构实现高性能。
LongMoE提出了一个统一框架,同时解决多模态临床学习中的模态缺失和纵向动态问题,利用上下文感知插补、注意力令牌化、轨迹感知编码和稀疏混合专家路由。在ADNI、OASIS-3和MIMIC-IV上的实验表明,在缺失模态情况下鲁棒性得到提升,同时在完整模态设置下仍具有竞争力。
本文介绍了一种即插即用的校准模块,该模块在融合前调整多模态表示,利用跨模态上下文抑制误导信号,增强可靠信号,从而在多个基准测试上提升性能。
本文提出语义运动锚点,即共语手势检索与合成中手势运动的自然语言抽象。该方法将3D手势离散化为身体-手部运动基元,并将其与转录文本对齐,在文本到手势检索和生成中的用户偏好方面取得了显著提升。
介绍了平衡多模态标签重塑(BMLR),该方法通过重塑标签空间来平衡跨模态的映射难度,从而解决多模态学习中的模态不平衡问题,并在多种架构上提升性能。
本文提出了Synheart Capacity,一种理论驱动的多模态学习框架,从可穿戴心脏和皮肤电信号中建模认知容量动态,从而实现对心理努力和压力状态的连续估计。
本文提出MODIAD,一种面向多模态在线分布式工业异常检测的框架,通过多类智能调度问题和资源高效类级低秩自适应(REC-LoRA)策略解决资源约束问题。在MVTec 3D-AD和Eyecandies数据集上的实验展示了卓越的性能和效率。