TacitVLA:无推理延迟的隐式推理视觉-语言-动作模型

Hugging Face Daily Papers 论文

摘要

TacitVLA 提出一种无需在行动前生成推理文本的视觉-语言-动作模型,动作专家不关注其生成的推理内容,仅依靠推理监督改进骨干表示,在四个基准上以最高 3.4 倍更低延迟匹配显式推理模型的性能,并在 RoboMME 和 RMBench 上超越此前最佳结果。

在行动前进行文本推理虽然提升了视觉-语言-动作(VLA)模型的能力,但代价是延迟:每一个以推理文本为条件的动作都必须等待自回归解码完成。我们证明,动作无需等待或依赖生成的推理内容即可从中获益,因为推理监督本身已经改进了骨干网络的表示。我们提出 TacitVLA,一种推理式 VLA 模型,其动作专家从不关注它为当前调用所生成的推理内容。在推理文本还充当情景记忆的长时程任务中,它可以在动作执行过程中生成每一条记录,而不必在行动之前生成。我们在一个受控研究中对四个涵盖操作任务与自动驾驶、记忆任务与非记忆任务的基准进行了评估:RoboMME、RMBench、LIBERO 和 PhysicalAI-AV。在所有四个基准上,TacitVLA 以最高 3.4 倍的更低延迟匹配了其显式推理版本的性能,并以相同的延迟匹配了同一架构在无推理训练下的性能,成功率最高提升 +17.1%。从绝对数值来看,它在 RoboMME Counting 套件上超越了此前公开的最佳结果(82.7% vs. 66.8%),在 RMBench 上同样实现超越(77.5% vs. 56.5%),在 LIBERO-Plus 上达到 72.9%,并在 PhysicalAI-AV 闭环驾驶挑战赛公开划分上取得 52.5% 的场景分数。项目主页:https://tacitvla.github.io。
查看原文
查看缓存全文

缓存时间: 2026/10/14 06:52

论文页面 - TacitVLA:无推理延迟的隐式推理视觉-语言-动作模型

来源:https://huggingface.co/papers/2610.17540 作者:

摘要

在行动前进行文本推理已经提升了视觉-语言-动作(VLA)模型的能力,但代价是延迟:每一个基于推理文本的动作都必须等待自回归解码完成。我们证明,动作无需等待或依赖生成的推理内容即可从中获益,因为推理监督本身已经改进了骨干网络的表征。我们提出了TacitVLA——一种推理型VLA,其动作专家从不关注它在当前调用中所生成的推理内容。在长程任务中,推理文本还充当情景记忆,TacitVLA可以在动作执行过程中而非行动之前生成每一条记忆条目。我们在一个受控研究中对它进行了评估,涵盖操作和自动驾驶、记忆任务和非记忆任务的四个基准:RoboMME、RMBench、LIBERO和PhysicalAI-AV。在所有四个基准上,TacitVLA都达到了与显式推理模型相当的性能,同时延迟最多降低3.4倍;并且在与未使用推理训练的相同架构相比时,在保持相同延迟的情况下成功率最多提升17.1%。具体而言,它在RoboMME Counting套件上超越了此前已发布的最好结果(82.7% vs. 66.8%),在RMBench上也实现了超越(77.5% vs. 56.5%),在LIBERO-Plus上达到72.9%,并在PhysicalAI-AV闭环驾驶挑战赛的公开划分上取得52.5%的场景得分。项目主页:https://tacitvla.github.io。

查看 arXiv 页面 (https://arxiv.org/abs/2610.17540) 查看 PDF (https://arxiv.org/pdf/2610.17540) 项目主页 (https://tacitvla.github.io/) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.17540)

在你的代理中获取这篇论文:

hf papers read 2610.17540

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型关联到此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.17540 即可从此页面链接该论文。

引用该论文的数据集 0

暂无数据集关联到此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.17540 即可从此页面链接该论文。

引用该论文的 Spaces 0

暂无 Space 关联到此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.17540 即可从此页面链接该论文。

包含该论文的收藏夹 0

暂无收藏夹包含此论文。

将该论文添加到收藏夹 (https://huggingface.co/new-collection) 即可从此页面链接该论文。

相似文章

视觉思考-视觉-语言-行动策略:视觉中间推理实现高效低延迟

Hugging Face Daily Papers

视觉思考-视觉-语言-行动策略(VisualThink-VLA)引入了一种用于视觉-语言-行动策略的视觉中间推理框架,该框架保留了空间精度,并相比基于文本的推理显著降低了延迟,在机器人操作基准测试中实现了亚秒级推理和领先的成功率。

VLA-Δ:为视觉-语言-动作模型学习物理状态转移

Hugging Face Daily Papers

VLA-Δ 提出一个通用框架,通过显式监督当前与未来观测之间的物理状态转变来改进机器人控制,在 LIBERO、RoboTwin 及真实机器人实验上取得与最先进方法竞争的性能,且不增加推理开销。

TBD-VLA: 时序块扩散视觉语言动作模型

Hugging Face Daily Papers

TBD-VLA 提出了一种离散的视觉-语言-动作框架,结合了块扩散与自回归生成,以实现高效的时序动作建模和更快的推理速度,在仿真和真实世界的操作任务中显著优于之前的 VLA 方法。