@_akhaliq:论文:
摘要
本文提出了Robust-TO,一个智能视频理解框架,它整合了每帧的可信度来解决盲信任问题,在真实扰动下实现了显著的精度提升。
查看缓存全文
缓存时间: 2026/06/26 12:10
论文页面 - 置信度感知的工具编排实现鲁棒视频理解
来源:https://huggingface.co/papers/2606.26904
摘要
Robust‑TO 通过将逐帧可信度集成到智能体框架中,解决了视频推理中的盲信任问题。该框架利用校准后的证据加权和可靠性感知推理,在现实扰动下提升了准确性。
视频推理 (https://huggingface.co/papers?q=Video%20reasoning)语言模型隐含地假设每一输入帧都同样可靠。这就导致了我们称之为盲信任问题 (https://huggingface.co/papers?q=Blind%20Trust%20Problem) 的现象:在现实扰动(如运动模糊、眩光或遮挡)下,前沿视频推理 (https://huggingface.co/papers?q=video%20reasoning)模型在真实世界具身基准上的准确率会下降 15‑30 个百分点,而模型本身却未意识到视觉证据已经退化。为应对这一挑战,我们提出了 Robust‑TO,一个智能体视频理解 (https://huggingface.co/papers?q=agentic%20video%20understanding)框架,它显式地将逐帧可信度整合到推理的每个阶段。Robust‑TO 将异构的视觉感知工具组织在一个统一的证据接口 (https://huggingface.co/papers?q=evidence%20interface)下。每个工具接收一个由原始问题派生的子查询,以及一组由可靠性‑相关性分数 (https://huggingface.co/papers?q=reliability-relevance%20score) 选出的可信帧。它返回共享格式的证据:具体预测(例如边界框、运动轨迹、识别文本或动作标签)、时间定位以及校准后的可靠性分数 (https://huggingface.co/papers?q=calibrated%20reliability%20score)。在推理过程中,这些校准后的分数通过三层综合过程 (https://huggingface.co/papers?q=three-tier%20synthesis%20process)(高/中/低)引导证据加权,并定义一种置信度‑成本 GRPO 奖励 (https://huggingface.co/papers?q=confidence-cost%20GRPO%20reward),该奖励联合优化正确性、证据可靠性和效率。在涵盖八项任务的两个视频推理基准 (https://huggingface.co/papers?q=video%20reasoning%20benchmarks)上,Robust‑TO 在干净输入上取得了 56.4% 的平均准确率,超过最强开源基线 10.6 个百分点,并优于 Gemini‑2.5‑Pro(46.2%)。在五种现实扰动类型下,Robust‑TO 保持了 54.3% 的平均准确率,高出最强开源基线 5.8 个百分点,同时在所有比较方法中展现出最小的干净‑到‑扰动准确率下降。
查看 arXiv 页面 (https://arxiv.org/abs/2606.26904)查看 PDF (https://arxiv.org/pdf/2606.26904)项目页面 (https://rova-v2.github.io/)GitHub1 (https://github.com/ROVA-V2/Robust-TO)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.26904)
引用本论文的模型0
无模型链接本论文
在模型 README.md 中引用 arxiv.org/abs/2606.26904 即可从本页链接。
引用本论文的数据集0
无数据集链接本论文
在数据集 README.md 中引用 arxiv.org/abs/2606.26904 即可从本页链接。
引用本论文的 Space0
无 Space 链接本论文
在 Space README.md 中引用 arxiv.org/abs/2606.26904 即可从本页链接。
包含本论文的收藏0
无收藏包含本论文
将本论文添加到一个收藏 (https://huggingface.co/new-collection)中即可从本页链接。
相似文章
面向鲁棒视频理解的置信感知工具编排
Robust-TO通过将每帧可信度集成到智能框架中,解决了视频推理中的盲目信任问题,通过校准证据加权和可靠性感知推理,在现实扰动下提高了准确性。
物理视觉-语言推理中的答案级信任选择
本文提出答案级信任选择(ATS),一种后处理的、与模型无关的框架,用于评估视觉-语言模型在定量物理推理任务中单个预测的可靠性。
Robust-U1:多模态大语言模型能否自我修复受损视觉内容以实现鲁棒理解?
Robust-U1 是一个框架,通过监督微调、双奖励强化学习和联合多模态推理,使多模态大语言模型能够自我修复受损的视觉内容,在鲁棒性基准测试上达到了最先进水平。
FIRM-Video:评分前核查以实现可靠的文本到视频奖励建模
FIRM-Video 介绍了一种基于检查表驱动的验证框架,用于构建文本到视频任务中的可靠奖励模型,利用时间视觉证据来改进评估和对齐。
TRACE:面向文本-视觉嵌入模型的训练感知鲁棒性与挑战性评估框架
TRACE 是一个训练感知的基准测试框架,将 168 个文本-视觉嵌入任务重新组织为通用(General)、适应性(Adaptability)和挑战性(Challenge)三大类别。研究发现,数据适配能够提升模型的适应性,但在解决具有挑战性的多语言任务和视觉文档任务方面仍然收效甚微。