ChronoReplay:对于流式空间智能而言,一个回答接口是不够的
摘要
ChronoReplay 是一个针对流式视觉-语言模型的空间推理训练框架,通过按时间顺序组织异构空间监督并进行族平衡训练,缓解接口锁定问题,在 OST-Bench 等基准上取得显著提升。
查看缓存全文
缓存时间: 2026/10/28 05:29
论文概览 - ChronoReplay:单一答案接口不足以支撑流式空间智能
来源:https://huggingface.co/papers/2610.34283
ChronoReplay 是一个训练框架,旨在提升流式视觉-语言模型(VLMs)的空间推理能力。
现有的空间 VLM 通常专精于特定的答案格式,例如分类空间关系、度量距离或运动轨迹。我们将这种专精现象称为“接口锁定“(interface lock-in),它限制了模型在不同空间推理任务之间的泛化能力。
为应对这一挑战,ChronoReplay 将异构的空间监督信号组织为按时间顺序排列的交互片段(episodes),保留各任务特定的答案格式,并在不同监督家族之间保持学习平衡。这使得单一模型能够学习互补的空间能力,同时维持时序一致性。
核心亮点:
- 统一的空间学习:在单一模型中同时支持分类式、度量式和轨迹式空间推理。
- 时序回放:通过将训练样本组织为有序的交互片段,保留时间依赖关系。
- 家族均衡训练:通过对异构监督信号进行平衡,提升跨任务泛化能力。
- 强劲的基准表现:在 OVO-S-Bench、OST-Bench 和 UCS-Bench 上均取得持续提升,其中在 OST-Bench 上提升了 13.41 个点。
- 高效流式推理:自适应帧选择在降低视觉处理开销的同时进一步提升了性能。
ChronoReplay 证明了,有效的流式空间智能需要在不同任务间保留互补的空间信息,从时序结构化的经验中学习,并在推理时选择相关的视觉证据。
相似文章
ChronoVision:通过潜在状态重建进行时间推理
ChronoVision 是一个多模态框架,通过将视觉逻辑与潜在图像对齐,使用重构视觉头、ROI 注意力定位模块和强化学习,改进视觉语言模型中的时间推理。它引入了 Vbvr-VQA 数据集,并在时间跟踪基准上达到了 SOTA 准确率。
OVO-S-Bench:面向多模态大语言模型流式空间智能的层次化基准测试
OVO-S-Bench 构建了一个全面的人工标注基准测试,涵盖 348 个视频中的 1,680 道问题,用于评估多模态大语言模型的流式空间智能能力。结果显示,即便是表现最佳的模型(Gemini-3.1-Pro)也比人类专家低 27 分。该基准测试揭示了若干关键局限:以他者为中心的空间映射是主要瓶颈,而思维链推理则会放大空间错误。
SpatialBrain:从经验中生长的空间智能
SpatialBrain 是一个通过分离场景证据与推理经验来提升空间推理能力的框架,利用融合空间记忆、可复用技能库和过程记录来引导工具使用,且无需修改视觉-语言骨干网络,在五个空间推理基准上取得了优于或持平直接回答的结果。
Video-Arena:一个面向时空能力的可扩展智能体视频基准
Video-Arena 引入了一个可扩展的基准,将竞技类游戏转化为对视频中时空世界状态理解与跟踪能力的可验证测试,在原生与工具辅助的智能体协议下对模型进行评估,结果发现两种协议下的模型都难以随时间推移正确更新状态。
SpatialOPSD:从已验证的编码智能体轨迹中自蒸馏空间智能
SpatialOPSD 提出了一种非策略自蒸馏框架,将空间编码智能体的已验证执行轨迹作为特权信息蒸馏进多模态大模型,通过重复感知蒸馏(重复掩码 + 不似然正则化)缓解信息泄漏,实现无工具的空间推理,并在空间及 OOD 基准上超越 SFT 和 GRPO。