论文页面 - 监督可见状态：在流式视频中将表征与视图选择分离

来源：https://huggingface.co/papers/2610.34926 作者：

,

,

,

,

,

,

,

,

,

摘要

可见状态监督（Visible-State Supervision）与测试时因果视图搜索（Test-Time Causal View Search）通过将表征学习与证据选择分离开来改进流式动作识别，以更少的帧数提升准确率。

一个只看过一次的动作与一个看过三次的动作会获得相同动作识别标签，因此这种监督并不要求模型进行计数。在事件顺序、累积方式或关系不同的历史中共享的答案，会使这些差异得不到约束；我们将这种状态称为欠约束（state under-specification）。可见状态监督（https://huggingface.co/papers?q=Visible-State%20Supervision)（ViSS (https://huggingface.co/papers?q=ViSS)）通过在基于来源的事件身份、顺序、累积、关系变化以及答案充分性探针上进行训练来解决这一问题；在相同的近期帧接口下，它在 OVO-Bench (https://huggingface.co/papers?q=OVO-Bench) 上优于严格匹配的通用时间监督基线，同时在 StreamingBench (https://huggingface.co/papers?q=StreamingBench) 上保持相当的表现，其中提升最大的是幻觉检测（https://huggingface.co/papers?q=hallucination%20detection)）。测试时因果视图搜索（https://huggingface.co/papers?q=Test-Time%20Causal%20View%20Search)（TVS (https://huggingface.co/papers?q=TVS)）随后在保持已训练模型不变的情况下调整证据访问方式，按需从近期帧扩展到稀疏事件视图和紧凑历史视图。这两种干预措施将表征与视图选择分离开来：监督尤其有益于幻觉检测（https://huggingface.co/papers?q=hallucination%20detection)）和因果推理（https://huggingface.co/papers?q=causal%20reasoning)），访问尤其有益于事件召回（https://huggingface.co/papers?q=event%20recall)）和前向推理（https://huggingface.co/papers?q=forward%20reasoning)）。二者结合，在 StreamingBench (https://huggingface.co/papers?q=StreamingBench) 和 OVO-Bench (https://huggingface.co/papers?q=OVO-Bench) 上达到了本文所比较的已发表系统中报告的最佳准确率，而处理的帧数仅为穷举选择的一小部分；严格回放表明，与三视图 oracle 之间的大部分剩余差距，来自一个后来被替换掉的正确答案。流式准确率取决于监督要求模型保留什么、推理暴露了哪些证据，以及模型在得到正确答案后是否能将其保持住。

查看 arXiv 页面 (https://arxiv.org/abs/2610.34926) 查看 PDF (https://arxiv.org/pdf/2610.34926) 项目页面 (https://yihaohu0118.github.io/ViSS/) GitHub2 (https://github.com/yihaohu0118/ViSS) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.34926)

在你的 agent 中获取本文：

hf papers read 2610\.34926

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型链接本文。

在模型的 README.md 中引用 arxiv.org/abs/2610.34926 即可从此页面链接它。

引用本文的数据集 0

没有数据集链接本文。

在数据集的 README.md 中引用 arxiv.org/abs/2610.34926 即可从此页面链接它。

引用本文的 Spaces 0

没有 Space 链接本文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.34926 即可从此页面链接它。

包含本文的合集 0

没有合集包含本文。

将本文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接它。