论文页面 - KeyRec：用于流式与长视频理解的有界视觉记忆

来源：https://huggingface.co/papers/2609.32182

摘要

视觉-语言模型越来越多地被用于理解长视频和连续流。然而，密集的视觉 token 会随视频时长不断累积，使得长上下文推理的开销高得惊人。现有的免训练视觉 token 选择方法通过保留有信息量的 token 来降低这一成本，但可能丢失连贯的事件证据，且无法区分近期的细粒度观察与长程历史信息。我们提出 KeyRec，一个用于构建有界视觉记忆的免训练框架。在与 query 无关的写入阶段，KeyRec 将细粒度的近期观察保存在视觉缓存中，并将历史证据组织成结构化的事件库。候选事件依据其相对于已存储事件的新颖性被提出，并通过在线的“添加—合并—淘汰“更新流程进行维护。当问题到来时，一个纯文本路由器在近期记忆和事件记忆之间自适应地分配固定的读出预算，而无需重新处理历史帧。KeyRec 直接在面向模型的视觉嵌入上运行，既支持模块化的 encoder-projector VLM，也支持无 encoder 和无 projector 的 NEO-ov 架构。在四个流式与长视频基准以及三种 VLM 骨干上，KeyRec 仅使用密集 decoder 视觉 token 预算的 10%，就在 15 个设置中的 13 个取得了最佳的压缩性能。在实时问题上，它以 2.21–18.37 分的优势超过最强的压缩基线；在六个长视频设置中的五个上取得了最佳压缩结果；并在所有 NEO-ov2B 设置中均表现最优。

查看 arXiv 页面 (https://arxiv.org/abs/2609.32182)　查看 PDF (https://arxiv.org/pdf/2609.32182)　添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.32182)

在你的 agent 中获取本文：

hf papers read 2609.32182

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无关联该论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2609.32182，即可从本页链接到该论文。

引用本文的数据集 0

暂无关联该论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2609.32182，即可从本页链接到该论文。

引用本文的 Space 0

暂无关联该论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2609.32182，即可从本页链接到该论文。

包含本文的合集 0

暂无包含本文的合集

将本文添加到合集中，即可从本页链接到该论文。