机器人延迟也是一个恢复问题

Reddit r/artificial 模型
robot-latency recovery-problem foresight-reasoning regrounding end-to-end robotics

摘要

机器人平均而言可以很快，但当场景变化时仍可能失败；LingBot-VA 2.0 设计通过将前瞻推理与重定位相结合解决了这个问题，在确保状态与真实接近的同时实现了四倍的速度提升。

机器人平均而言可以很快，但当规划步骤间场景发生变化时，它仍会漂移。摄像头捕捉到一个放错位置的物体。有人走进了工作区。系统必须决定是完成想象中的动作还是基于现实重新规划。这个恢复路径比单个采样器的吞吐量数字更重要。LingBot-VA 2.0 设计在新的观测到达时将前瞻推理与重定位相结合。其标志性数字是超过四倍的端到端速度提升。在将其视为控制结果之前，请展示尾部延迟、预测范围、重定位频率以及强制不匹配后的恢复。快速是有用的，但只有当想象中的状态与真实保持接近时才有效。
查看原文

相似文章

Drop-Then-Recovery: 视觉-语言-动作模型究竟有多冗余？

Hugging Face Daily Papers

本文研究了视觉-语言-动作（VLA）模型中的冗余现象，发现语言主干在机器人操作任务中高度冗余，而视觉和动作路径则更为关键。作者提出了 Drop-Then-Recovery（DTR）和 GateProbe 方法，用于量化并剪枝不必要的模块。实验表明，移除一半的大语言模型（LLM）模块甚至能提升模型性能。