标签
论文提出 AC-JEPA（锚定式跨模态联合嵌入预测架构），一种可与监督微调（SFT）兼容的即插即用模块，通过双向跨模态预测被掩码的中间表示来提升从视觉到符号序列的翻译能力。在光学化学结构识别（OCSR）任务上，AC-JEPA 在 WildMol Simple 上达到 76.07% 的准确率（SFT 基线为 67.40%），并在使用含噪声伪标签数据进行自训练时提升至 80.23%，而直接进行 SFT 反而导致性能下降。
AVC-Reward 提出一个以事件为中心的音视频一致性评估框架，通过可训练奖励模型在全局和谐、时间同步和属性对齐三个层面评估复杂多事件场景，并在与人类判断对齐上达到最先进水平，还可作为在线强化学习信号提升联合生成模型的一致性。
提出一种通过蒸馏最优传输在仅有100-500个配对样本下对齐两个独立预训练单模态编码器的方法，在Flickr30k、MS-COCO和ChEBI-20上以相同锚点预算超越现有方法。
提出自适应奖励路由（Adaptive Reward Routing），在联合音频-视频扩散模型的前向过程强化学习（DiffusionNFT）中动态调整更新位置与奖励权重：利用双向跨注意力响应定位跨模态影响，并以偏好先验加残差修正的方式协调多个竞争奖励，从而提升模态质量、语义一致性与音视频同步。
MME-Safety 是一个经过严格验证的基准，用于评估多模态大语言模型的安全性，具有四维标注框架和一个分层框架，以评估风险场景、危害严重程度和特定模态的隐蔽性水平。
本文提出了一种用于机械系统故障检测的多模态异常检测框架，该框架采用自监督跨模态重构和自适应阈值设置，以提高在分布偏移下的鲁棒性。
Omni-Streaming Thinking 通过推迟声明直到跨模态验证来改进流式全模态推理，减少过早承诺和听觉幻觉。
OmniHallu引入了一个统一的幻觉检测框架，适用于多模态大语言模型，涵盖图像、视频和音频模态的理解与生成任务，并包括一个基准测试和多智能体架构。
本文介绍了Tri-PvP，这是一个基准测试，揭示了全模态大语言模型中的视觉偏差和非对称证据形式偏好，表明深层模态偏差可以从早期层线性解码，并且难以通过表面干预缓解。
本文介绍了HalluPrism，这是一种针对多模态大语言模型的行为诊断方法，它使用视觉扰动探针来识别幻觉故障模式，改进了仅基于置信度的故障类别分类方法。
VA-Judger是首个用于联合视频-音频生成的奖励模型，它使用人类偏好反馈来评估整体质量，包括一个数据集和基准测试，并在应用于像LTX-2这样的模型时展示了人类偏好率的显著提升。
本文介绍了The Unwritten Benchmark，这是一个用于评估多模态AI模型抽象感知推理能力的新挑战，揭示了人类与当前模型如GPT-4o和Gemini 2.5-Pro之间的显著性能差距。
本文介绍了HC-RAG，一个面向10-K文件的以证据为中心的金融问答的分层跨模态检索增强生成框架，以及一个新的基准Multi-Doc-2025。它在金融问答基准上优于RAPTOR和GraphRAG，尤其是在长文档和表格相关查询方面。
This paper introduces a method to predict middle-layer attention in multimodal LLMs to prune visual tokens efficiently, using question-contrastive teacher selection and cross-modal attention distillation.
本文介绍了ConCor-1，一种接地模型，将视觉-语言接地视为双向概念对应，无需预设短语即可联合恢复文本跨度、图像片段和跨模态匹配。它统一了短语接地、指称表达接地和开放词汇检测，在长标题和零样本LVIS基准上实现了显著的F1提升。
介绍了C$^3$PO，一个包含3,404个样本的基准测试，用于评估多模态LLM中的跨模态组合与反事实推理。研究发现模态主导性导致了大多数失败，即使最佳模型（Gemini-3.1-Pro）也远低于人类准确率。
本文介绍了Kontrast，一种利用Text-to-SPARQL和LLM推理自动检测Wikipedia文本、表格和Wikidata知识图谱之间知识不一致性的框架。
提出了一种统一的事后检测框架，用于AI模型中的版权侵权检测，利用条件敏感性和差分隐私来跨模态衡量记忆化。
OmniVAE是一种联合训练的音频-视频VAE，使用分段级对比学习和特征蒸馏来对齐潜在空间，从而提升文本到音频-视频生成中的联合生成质量和同步性。
本文提出了UMMT，一种基于Token级别的跨模态Transformer与对比多任务学习，用于乳腺癌亚型分类和生存预测，在METABRIC和TCGA-BRCA数据集上取得了最先进的结果。