TacitVLA:无推理延迟的隐式推理视觉-语言-动作模型
摘要
TacitVLA 提出一种无需在行动前生成推理文本的视觉-语言-动作模型,动作专家不关注其生成的推理内容,仅依靠推理监督改进骨干表示,在四个基准上以最高 3.4 倍更低延迟匹配显式推理模型的性能,并在 RoboMME 和 RMBench 上超越此前最佳结果。
查看缓存全文
缓存时间: 2026/10/14 06:52
论文页面 - TacitVLA:无推理延迟的隐式推理视觉-语言-动作模型
来源:https://huggingface.co/papers/2610.17540 作者:
摘要
在行动前进行文本推理已经提升了视觉-语言-动作(VLA)模型的能力,但代价是延迟:每一个基于推理文本的动作都必须等待自回归解码完成。我们证明,动作无需等待或依赖生成的推理内容即可从中获益,因为推理监督本身已经改进了骨干网络的表征。我们提出了TacitVLA——一种推理型VLA,其动作专家从不关注它在当前调用中所生成的推理内容。在长程任务中,推理文本还充当情景记忆,TacitVLA可以在动作执行过程中而非行动之前生成每一条记忆条目。我们在一个受控研究中对它进行了评估,涵盖操作和自动驾驶、记忆任务和非记忆任务的四个基准:RoboMME、RMBench、LIBERO和PhysicalAI-AV。在所有四个基准上,TacitVLA都达到了与显式推理模型相当的性能,同时延迟最多降低3.4倍;并且在与未使用推理训练的相同架构相比时,在保持相同延迟的情况下成功率最多提升17.1%。具体而言,它在RoboMME Counting套件上超越了此前已发布的最好结果(82.7% vs. 66.8%),在RMBench上也实现了超越(77.5% vs. 56.5%),在LIBERO-Plus上达到72.9%,并在PhysicalAI-AV闭环驾驶挑战赛的公开划分上取得52.5%的场景得分。项目主页:https://tacitvla.github.io。
查看 arXiv 页面 (https://arxiv.org/abs/2610.17540) 查看 PDF (https://arxiv.org/pdf/2610.17540) 项目主页 (https://tacitvla.github.io/) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.17540)
在你的代理中获取这篇论文:
hf papers read 2610.17540
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用该论文的模型 0
暂无模型关联到此论文。
在模型 README.md 中引用 arxiv.org/abs/2610.17540 即可从此页面链接该论文。
引用该论文的数据集 0
暂无数据集关联到此论文。
在数据集 README.md 中引用 arxiv.org/abs/2610.17540 即可从此页面链接该论文。
引用该论文的 Spaces 0
暂无 Space 关联到此论文。
在 Space README.md 中引用 arxiv.org/abs/2610.17540 即可从此页面链接该论文。
包含该论文的收藏夹 0
暂无收藏夹包含此论文。
将该论文添加到收藏夹 (https://huggingface.co/new-collection) 即可从此页面链接该论文。
相似文章
视觉思考-视觉-语言-行动策略:视觉中间推理实现高效低延迟
视觉思考-视觉-语言-行动策略(VisualThink-VLA)引入了一种用于视觉-语言-行动策略的视觉中间推理框架,该框架保留了空间精度,并相比基于文本的推理显著降低了延迟,在机器人操作基准测试中实现了亚秒级推理和领先的成功率。
PhysVista:通过感知—推理—评估闭环对视觉语言模型的物理智能进行基准评测
PhysVista 提出了一个基于「感知—推理—评估」闭环认知框架的基准,用于评测视觉语言模型(VLM)的物理智能,涵盖事件级与尺度级推理,以及真实视频与 AI 生成视频。研究揭示了 VLM 在物理推理与合理性评估方面的显著局限。
面向机器人操作的视觉-语言-动作模型中的双潜在记忆
LaMem-VLA提出了一种原生于潜在记忆的框架,将短期和长期历史经验直接整合到视觉-语言-动作推理中,从而在长周期机器人操作任务上实现更优性能。
VLA-Δ:为视觉-语言-动作模型学习物理状态转移
VLA-Δ 提出一个通用框架,通过显式监督当前与未来观测之间的物理状态转变来改进机器人控制,在 LIBERO、RoboTwin 及真实机器人实验上取得与最先进方法竞争的性能,且不增加推理开销。
TBD-VLA: 时序块扩散视觉语言动作模型
TBD-VLA 提出了一种离散的视觉-语言-动作框架,结合了块扩散与自回归生成,以实现高效的时序动作建模和更快的推理速度,在仿真和真实世界的操作任务中显著优于之前的 VLA 方法。