@_akhaliq:论文:

X AI KOLs Following 论文

摘要

本文提出了Robust-TO,一个智能视频理解框架,它整合了每帧的可信度来解决盲信任问题,在真实扰动下实现了显著的精度提升。

论文:https://t.co/eUoddauH25
查看原文
查看缓存全文

缓存时间: 2026/06/26 12:10

论文页面 - 置信度感知的工具编排实现鲁棒视频理解

来源:https://huggingface.co/papers/2606.26904

摘要

Robust‑TO 通过将逐帧可信度集成到智能体框架中,解决了视频推理中的盲信任问题。该框架利用校准后的证据加权和可靠性感知推理,在现实扰动下提升了准确性。

视频推理 (https://huggingface.co/papers?q=Video%20reasoning)语言模型隐含地假设每一输入帧都同样可靠。这就导致了我们称之为盲信任问题 (https://huggingface.co/papers?q=Blind%20Trust%20Problem) 的现象:在现实扰动(如运动模糊、眩光或遮挡)下,前沿视频推理 (https://huggingface.co/papers?q=video%20reasoning)模型在真实世界具身基准上的准确率会下降 15‑30 个百分点,而模型本身却未意识到视觉证据已经退化。为应对这一挑战,我们提出了 Robust‑TO,一个智能体视频理解 (https://huggingface.co/papers?q=agentic%20video%20understanding)框架,它显式地将逐帧可信度整合到推理的每个阶段。Robust‑TO 将异构的视觉感知工具组织在一个统一的证据接口 (https://huggingface.co/papers?q=evidence%20interface)下。每个工具接收一个由原始问题派生的子查询,以及一组由可靠性‑相关性分数 (https://huggingface.co/papers?q=reliability-relevance%20score) 选出的可信帧。它返回共享格式的证据:具体预测(例如边界框、运动轨迹、识别文本或动作标签)、时间定位以及校准后的可靠性分数 (https://huggingface.co/papers?q=calibrated%20reliability%20score)。在推理过程中,这些校准后的分数通过三层综合过程 (https://huggingface.co/papers?q=three-tier%20synthesis%20process)(高/中/低)引导证据加权,并定义一种置信度‑成本 GRPO 奖励 (https://huggingface.co/papers?q=confidence-cost%20GRPO%20reward),该奖励联合优化正确性、证据可靠性和效率。在涵盖八项任务的两个视频推理基准 (https://huggingface.co/papers?q=video%20reasoning%20benchmarks)上,Robust‑TO 在干净输入上取得了 56.4% 的平均准确率,超过最强开源基线 10.6 个百分点,并优于 Gemini‑2.5‑Pro(46.2%)。在五种现实扰动类型下,Robust‑TO 保持了 54.3% 的平均准确率,高出最强开源基线 5.8 个百分点,同时在所有比较方法中展现出最小的干净‑到‑扰动准确率下降。

查看 arXiv 页面 (https://arxiv.org/abs/2606.26904)查看 PDF (https://arxiv.org/pdf/2606.26904)项目页面 (https://rova-v2.github.io/)GitHub1 (https://github.com/ROVA-V2/Robust-TO)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.26904)

引用本论文的模型0

无模型链接本论文

在模型 README.md 中引用 arxiv.org/abs/2606.26904 即可从本页链接。

引用本论文的数据集0

无数据集链接本论文

在数据集 README.md 中引用 arxiv.org/abs/2606.26904 即可从本页链接。

引用本论文的 Space0

无 Space 链接本论文

在 Space README.md 中引用 arxiv.org/abs/2606.26904 即可从本页链接。

包含本论文的收藏0

无收藏包含本论文

将本论文添加到一个收藏 (https://huggingface.co/new-collection)中即可从本页链接。

相似文章

面向鲁棒视频理解的置信感知工具编排

Hugging Face Daily Papers

Robust-TO通过将每帧可信度集成到智能框架中,解决了视频推理中的盲目信任问题,通过校准证据加权和可靠性感知推理,在现实扰动下提高了准确性。

TRACE:面向文本-视觉嵌入模型的训练感知鲁棒性与挑战性评估框架

arXiv cs.CL

TRACE 是一个训练感知的基准测试框架,将 168 个文本-视觉嵌入任务重新组织为通用(General)、适应性(Adaptability)和挑战性(Challenge)三大类别。研究发现,数据适配能够提升模型的适应性,但在解决具有挑战性的多语言任务和视觉文档任务方面仍然收效甚微。