论文页面 - EventLens：面向视频理解的事件结构强化学习

来源：https://huggingface.co/papers/2610.16172

摘要

近期的多模态大语言模型（MLLMs）在视频问答任务上取得了强劲的结果，但往往无法还原使视频具有连贯性的时序结构。它们可能会混合相邻事件、遗漏单事件的演进过程，或推断出跨事件的不合理关系。我们将结构化时序理解定义为从视觉证据中还原事件结构的能力，包括事件边界、单事件演进以及多事件关系。我们认为，这一差距源于当前后训练目标与时序推理之间的不匹配：基于描述（caption）的监督允许模型依赖语言捷径，而非真正进行视觉时序定位。为此，我们提出了 EventLens——一个以视觉为中心的强化学习框架，通过事件结构还原来学习视频理解。与重建描述不同，EventLens 训练模型在受控扰动下还原时序结构，例如改变时序粒度、反转演进顺序以及打乱事件顺序。我们用三级时序本体实现了该框架，并推导出三类可验证的任务：事件分割、演进判别和多事件关系推理。这些任务可以提供确定性的奖励，从而无需人类偏好标签或学习得到的奖励模型，即可进行任务专用的 GRPO 训练。我们进一步提出了多教师在线策略蒸馏（MT-OPD），将各专用策略整合为一个统一模型。在 Qwen3-VL 主干模型上的实验表明，该方法在时序定位和事件敏感推理基准上均取得了一致提升，同时保持了通用视频问答的性能。学习曲线还进一步证明，与直接的混合 RL 优化相比，EventLens 在训练成本显著降低的情况下，实现了相当的下游迁移效果。

查看 arXiv 页面 查看 PDF 项目页面 添加到收藏夹

在你的 agent 中获取本文：

hf papers read 2610.16172

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联到本文

在模型的 README.md 中引用 arxiv.org/abs/2610.16172，即可从此页面链接到该模型。

引用本文的数据集 0

暂无数据集关联到本文

在数据集的 README.md 中引用 arxiv.org/abs/2610.16172，即可从此页面链接到该数据集。

引用本文的 Spaces 0

暂无 Space 关联到本文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.16172，即可从此页面链接到该 Space。

收录本文的合集 0

暂无合集收录本文

将本文添加到合集即可从此页面链接到该合集。