论文页面 - StreamPI：面向视觉-语言-动作模型的流式多模态时序建模

来源：https://huggingface.co/papers/2608.26067

摘要

StreamPI 通过基于指令锚定的注意力机制与随机间隔训练，为单帧视觉-语言-动作模型赋予流式时序推理能力，在不增加额外参数的情况下提升了机器人操作性能。

视觉-语言-动作模型在机器人操作中已展现出有效性，但包括 pi0.5 在内的先进模型仍采用单帧范式，限制了其保留历史观测信息和发展精确空间感知的能力。本文提出 StreamPI，一种流式多模态时序建模框架，能够在不引入任何额外参数的前提下，为单帧视觉-语言-动作模型赋予时序推理能力。其核心设计之一是指令锚定时序建模。该方法将每个（视觉观测，语言指令）配对视为一个原子时序单元：配对内的双向注意力实现跨模态融合，而配对间的因果注意力则保持自回归流式推理。这确保了语言指令在整个任务执行过程中作为持久的语义锚点。为弥合同步训练与异步真实机器人部署之间的差距，我们引入了随机间隔流式训练策略：适当的帧间间隔（例如每 3 帧）能够实现更快、更流畅的动作执行。此外，随机化间隔进一步提升了对帧时序扰动的鲁棒性，支持实际中的异步部署。进一步地，通过利用大语言模型骨干的长度外推能力，StreamPI 无缝继承了预训练的单帧权重，并支持灵活的单帧和多帧推理。在涵盖记忆依赖和精确感知场景的真实机器人任务以及仿真基准 LIBERO 上的实验表明，StreamPI 在各类任务上均优于 pi0.5。

查看 arXiv 页面 (https://arxiv.org/abs/2608.26067)查看 PDF (https://arxiv.org/pdf/2608.26067)项目主页 (https://happinesslz.github.io/projects/StreamPI/)GitHub2 (https://github.com/hku-sail/StreamPI)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.26067)

获取您代理中的论文：

hf papers read 2608\.26067

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

暂无关联此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2608.26067 即可从本页链接。

引用此论文的数据集0

暂无关联此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2608.26067 即可从本页链接。

引用此论文的 Space0

暂无关联此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2608.26067 即可从本页链接。

包含此论文的收藏集0

暂无包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection)以从本页链接。