@svlevine: 如何使用实时分块（RTC）运行强化学习？在这项工作中，我们找到了方法，用小型强化学习策略配合大型机器人基础模型……

X AI KOLs Following 论文
reinforcement-learning real-time-chunking robotics asynchronous-inference vision-language-action fine-tuning foundation-model

摘要

一项研究合作介绍了ARLI，这是一种通过异步推理使用实时分块来启用视觉-语言-动作模型的强化学习微调的方法，通过让强化学习策略观察更近期的图像来改善机器人行为。

如何使用实时分块（RTC）运行强化学习？在这项工作中，我们弄清楚了如何将小型强化学习策略与大型机器人基础模型结合使用，其中强化学习策略观察更近期的图像（由于更快的推理），并将策略引导向更好的行为！ 这是一项与西门子的有趣合作，由西门子的Brian Zhu、Momen Khalil、Emanuele Poggi和来自伯克利的@ehharrison4领导，有许多出色的贡献者！
查看原文
查看缓存全文

缓存时间: 2026/09/22 07:48

如何在实时分块（RTC）中运行强化学习（RL）？在这项研究中，我们探索了如何将小型RL策略与大型机器人基础模型结合使用：RL策略因更快的推理速度能观察到更近期的图像数据，并能引导策略向更优行为发展！

这是一项与西门子的有趣合作，由Brian Zhu、西门子的Momen Khalil和Emanuele Poggi，以及伯克利大学的@ehharrison4共同主导，还有许多优秀的贡献者参与！

E Harrison (@ehharrison4)： 异步VLA推理降低了推理延迟，但这破坏了RL微调所需的马尔可夫假设。

如何在异步推理下实现VLA的RL微调？我们提出了ARLI：带中间信息的异步强化学习！

https://t.co/5A2OrJcaUH （1/n）

相似文章

离线到在线强化学习的自适应 Q 分块

arXiv cs.LG

本文介绍了自适应 Q 分块（AQC），这是一种强化学习方法，能够动态选择动作分块大小，以平衡反应式控制与长期规划。该方法在 OGBench 和 Robomimic 上取得了最先进的结果，提升了大规模 VLA 模型在机器人任务中的性能。