mllm

Reviso 是一个智能体视频字幕生成框架，采用分层的 Context-Focus-Points（上下文-焦点-目标）规划与主动感知机制来优先关注关键视觉证据，并通过 GRPO 及专用奖励进行训练，在四个视频字幕生成基准上超越了开源基线模型。

PhotoGuider 提出一种先测量后取景（measure-then-frame）的方法，利用共享的构图感知 token 进行 360° 全景图的观看方向选择与取景，并通过微调 MLLM 生成以测量结果为条件的构图解释。在两项 2D 裁剪基准上取得最高 mIoU，并在 120 人盲测中以 53.2% 的偏好率排名第一。

本文提出一个物理接地的多模态智能体框架，用于磁约束聚变装置中性束注入离子源的非平稳自适应调控，在EXL-50U平台455次放电的时序回放中验证了符号化物理量优于波形图像，并在监督运行下实现86.80%的束提取率。

本文研究多模态大模型中的检索头机制如何随输入模态扩展，发现跨模态共享的检索头虽不足2%，却对文档理解、空间感知等至关重要，并通过排序目标优化这些注意力头，将Qwen3-VL-8B在MMDocIR上的页面Recall@1提升了6.03个点。

SOMA 是一个新的多模态模型细粒度第一人称身体动作理解基准，包含 1,632 道人工核验的问题，对 37 个 MLLM 进行评测。人类达到 68.5% 的准确率，而表现最好的模型 Qwen3.6-27B 零样本仅达到 50.0%，揭示了身体动作推理方面存在的显著差距。

OpenVLHarness 是一个多模态推理框架，通过能力层、持久化多模态记忆与编码接口实现异构工具组合，在 22 个基准上相较无工具基线平均提升 9.7-12.6 分，同时显著降低 token 成本。

该论文提出了SABER——一个受控基准测试，揭示了多模态检索器中普遍存在的属性-物体绑定失败问题，并证明仅在合成属性绑定文本上对基于MLLM的嵌入模型进行微调，即可在SABER上取得SOTA结果，同时在无需图像监督的情况下提升跨模态检索和图像-图像检索性能。

WinARDet 提出压缩窗口自回归（WinAR）机制，将长答案序列划分为受限自回归窗口并用压缩潜变量表示历史，缓解密集视觉语言定位中的注意力抢占与框重复问题，在 RSDense 上将 RexOmni F1 从 32.16 提升至 39.36。

该论文在统一可控的基准框架下系统评估了多模态嵌入学习中的各类对比训练策略，发现大多数策略相比标准对齐基线仅有边际收益甚至带来负面影响，并提出结合难负样本挖掘、假负样本缓解与难批次构建的协同训练方案，在MMEB上以Qwen2-VL-2B平均提升6.0%。

UniData 提出一个通用多模态指令生成流水线，将简单用户需求扩展为多轮多模态指令，并构建了涵盖九种模态的 20,000 条 UniDataset，以提升多模态大模型的数据质量与能力。

本文介绍了“人类的第六感”（Humanity's Sixth Sense，HSS），这是一个用于评估多模态大语言模型直觉视觉推理能力的基准。结果显示，人类的准确率达到93.1%，而最强的模型GPT-6-astra仅达到53.6%，凸显了模型在隐性视觉理解能力方面与人类存在显著差距。

OmniCapBench 提出一个深度结构化的音视频字幕评估框架，将预测目标从自由文本转为可验证的原子评估单元（实体引用、视觉镜头、音频事件），在 786 个密集标注视频上区分多模态大模型的感知错误，揭示前沿模型长时程音视觉推理能力薄弱。

TerraVis 提出了一个基于 MLLM 工作流的框架，用于评估文生图模型生成图像的世界一致性（如畸形结构、物理上不可能的交互、空间关系不一致等），并定义了涵盖对象、交互和场景层级的 18 类一致性违规分类体系。实验表明该框架与人类判断相关性最强，且常规指标表现优秀的模型仍可能存在大量世界一致性缺陷。

该论文提出了一种因果分解框架，用于判定 MLLM 在组合任务上的失败究竟源于其内在能力不足，还是来自上游前置知识缺失所引发的级联错误；同时推出了 CADET 基准，包含 46 项单元任务和超过 33,000 条标注问题，研究发现：补充关键前置条件后，模型表现出的推理能力缺陷在很大程度上会消失。

EMNLP Findings 2026 的一篇论文提出了一种多智能体框架（包括文本、图像和批评者智能体），生成了 9,000 多条多模态假新闻帖子，并对 16 个开源和闭源多模态大语言模型进行了基准测试。结果发现这些模型的检测准确率尚达不到人类水平，尤其在判断图像真实性方面表现不佳。

ThinkV2V 提出一个推理驱动的框架，在视觉生成之前激活 MLLM 的思考过程，用于指令引导的视频编辑。该框架采用 MLLM-to-DiT 架构，结合渐进式课程训练与推理时思维扩展技术。作者还发布了 ThinkV2V-150K 数据集和 ThinkV2V-Bench，实验表明其 5B 规模的 DiT 模型性能超越了更大的 10B 基线模型。

MaLiang-Harness 引入了一个统一框架，以解决图像和视频生成中可执行程序的 Program-to-Visual 差距，在基准测试上评估了多个 MLLM，并揭示了视觉生成性能的见解。

本文提出DEEPO，一种双阶段强化学习优化方法，通过解决从奖励到参数更新的纠正链中的弱点，以减少多模态大语言模型中的幻觉。

本文介绍了Modl技术，该技术通过组合领域与语言LoRA并实现互正交性，创建跨语言遥感多模态大语言模型（MLLM），在无需配对多语言数据的情况下实现卓越性能。

VideoMM 引入了一种自适应宏微观推理框架，可减少视频MLLMs中的视觉token开销，实现6.13倍的速度提升和7.4%的准确率增益，从而高效地理解长视频。