ChronoReplay:对于流式空间智能而言,一个回答接口是不够的

Hugging Face Daily Papers 论文

摘要

ChronoReplay 是一个针对流式视觉-语言模型的空间推理训练框架,通过按时间顺序组织异构空间监督并进行族平衡训练,缓解接口锁定问题,在 OST-Bench 等基准上取得显著提升。

训练一个空间视觉-语言模型来回答物体位于哪一侧,并不要求它保留决定该答案的度量位移;而用于距离估计的监督则可能基本不约束类别关系。当后训练侧重于某一种读出方式时,改进就可能集中在该接口上,而向其他接口的迁移则表现微弱甚至退化;我们将这种现象称为**接口锁定**(interface lock-in)。ChronoReplay 通过将异构空间监督以按时间顺序排列的片段(episodes)形式进行回放来解决这一问题,保留各数据源原生的监督目标,并在不同监督族之间进行平衡训练。在相同的观测访问条件下,单个 ChronoReplay 检查点同时提升了 OVO-S-Bench、OST-Bench 和 UCS-Bench 的表现,其中在 OST-Bench 上取得了 13.41 分的提升,并在本文所比较的各种监督设置中取得了三项基准的最高平均分。相同数据的对照实验进一步分离了这种迁移的各个要素:答案序列化在 OST 和 UCS 之间重新分配了收益,族平衡学习优于普通的联合 SFT 和自然轮次加权,而按时间顺序回放比乱序对照在两个配对随机种子上平均高出约 2.41 个 OST 分。自适应帧选择则在保持训练后模型不变的前提下改变了证据的可访问性,在降低视觉成本的同时带来了额外的推理时收益。流式空间性能取决于监督保留了哪些区分、学习过程中如何组织异构历史,以及推理时在测试阶段提供了哪些因果证据。
查看原文
查看缓存全文

缓存时间: 2026/10/28 05:29

论文概览 - ChronoReplay:单一答案接口不足以支撑流式空间智能

来源:https://huggingface.co/papers/2610.34283

ChronoReplay 是一个训练框架,旨在提升流式视觉-语言模型(VLMs)的空间推理能力。

现有的空间 VLM 通常专精于特定的答案格式,例如分类空间关系、度量距离或运动轨迹。我们将这种专精现象称为“接口锁定“(interface lock-in),它限制了模型在不同空间推理任务之间的泛化能力。

为应对这一挑战,ChronoReplay 将异构的空间监督信号组织为按时间顺序排列的交互片段(episodes),保留各任务特定的答案格式,并在不同监督家族之间保持学习平衡。这使得单一模型能够学习互补的空间能力,同时维持时序一致性。

核心亮点:

  • 统一的空间学习:在单一模型中同时支持分类式、度量式和轨迹式空间推理。
  • 时序回放:通过将训练样本组织为有序的交互片段,保留时间依赖关系。
  • 家族均衡训练:通过对异构监督信号进行平衡,提升跨任务泛化能力。
  • 强劲的基准表现:在 OVO-S-Bench、OST-Bench 和 UCS-Bench 上均取得持续提升,其中在 OST-Bench 上提升了 13.41 个点。
  • 高效流式推理:自适应帧选择在降低视觉处理开销的同时进一步提升了性能。

ChronoReplay 证明了,有效的流式空间智能需要在不同任务间保留互补的空间信息,从时序结构化的经验中学习,并在推理时选择相关的视觉证据。

相似文章

ChronoVision:通过潜在状态重建进行时间推理

Hugging Face Daily Papers

ChronoVision 是一个多模态框架,通过将视觉逻辑与潜在图像对齐,使用重构视觉头、ROI 注意力定位模块和强化学习,改进视觉语言模型中的时间推理。它引入了 Vbvr-VQA 数据集,并在时间跟踪基准上达到了 SOTA 准确率。

OVO-S-Bench:面向多模态大语言模型流式空间智能的层次化基准测试

Papers with Code Trending

OVO-S-Bench 构建了一个全面的人工标注基准测试,涵盖 348 个视频中的 1,680 道问题,用于评估多模态大语言模型的流式空间智能能力。结果显示,即便是表现最佳的模型(Gemini-3.1-Pro)也比人类专家低 27 分。该基准测试揭示了若干关键局限:以他者为中心的空间映射是主要瓶颈,而思维链推理则会放大空间错误。

SpatialBrain:从经验中生长的空间智能

Hugging Face Daily Papers

SpatialBrain 是一个通过分离场景证据与推理经验来提升空间推理能力的框架,利用融合空间记忆、可复用技能库和过程记录来引导工具使用,且无需修改视觉-语言骨干网络,在五个空间推理基准上取得了优于或持平直接回答的结果。

Video-Arena:一个面向时空能力的可扩展智能体视频基准

Hugging Face Daily Papers

Video-Arena 引入了一个可扩展的基准,将竞技类游戏转化为对视频中时空世界状态理解与跟踪能力的可验证测试,在原生与工具辅助的智能体协议下对模型进行评估,结果发现两种协议下的模型都难以随时间推移正确更新状态。

SpatialOPSD:从已验证的编码智能体轨迹中自蒸馏空间智能

Hugging Face Daily Papers

SpatialOPSD 提出了一种非策略自蒸馏框架,将空间编码智能体的已验证执行轨迹作为特权信息蒸馏进多模态大模型,通过重复感知蒸馏(重复掩码 + 不似然正则化)缓解信息泄漏,实现无工具的空间推理,并在空间及 OOD 基准上超越 SFT 和 GRPO。