论文页面 - RoboTALES: 通过任务对齐的模拟未来学习推理引导的机器人策略

来源：https://huggingface.co/papers/2607.06018

摘要

RoboTALES 引入了一个两阶段框架，结合了基于 LLM 的规划与基于 VLM 的评判，以提升任务对齐的视频生成与机器人策略训练。

预训练视频生成模型（https://huggingface.co/papers?q=video%20generative%20models）是视觉运动控制（https://huggingface.co/papers?q=visuomotor%20control）的扎实骨干网络，但它们想象的未来往往偏离任务意图，且无法可靠地以动作为条件。因此，这些模型在规划或策略提取时难以使用。为解决这些局限，我们提出了 RoboTALES——一个单阶段框架，用于学习任务对齐的模拟未来（https://huggingface.co/papers?q=task-aligned%20simulated%20futures），并利用它们来训练机器人策略（https://huggingface.co/papers?q=robot%20policies）。我们的方法引入了两个关键创新：（1）一个分层基于 LLM 的规划器（https://huggingface.co/papers?q=hierarchical%20LLM-based%20planner），将复杂任务分解为一系列子目标以引导模型的想象；（2）一个基于 VLM 的评判器（https://huggingface.co/papers?q=VLM-based%20critic），用于评估这些“想象”的未来，并利用基于奖励的反馈使模型的内部表示聚焦于目标。通过将视频生成器锚定在抽象推理上，我们生成了时间上一致的展开和更连贯的动作。我们在 RoboCasa 和 LIBERO10 的多种操作任务上评估了 RoboTALES，结果表明我们的方法持续优于现有方法，尤其是在长视界任务（https://huggingface.co/papers?q=long-horizon%20tasks）上。我们的代码和模型已在 https://github.com/hananshafi/RoboTALES 公开。

查看 arXiv 页面（https://arxiv.org/abs/2607.06018）查看 PDF（https://arxiv.org/pdf/2607.06018）项目页面（https://hananshafi.github.io/RoboTALES）GitHub2（https://github.com/hananshafi/RoboTALES）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.06018）

在您的代理中获取本文：

hf papers read 2607.06018

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型1

hanangani/robotales-ckpts 更新于约 1 小时前（https://huggingface.co/hanangani/robotales-ckpts）

引用本文的数据集0

没有引用本文的数据集

请在数据集的 README.md 中引用 arxiv.org/abs/2607.06018 以从本页链接到它。

引用本文的 Space 0

没有引用本文的 Space

请在 Space 的 README.md 中引用 arxiv.org/abs/2607.06018 以从本页链接到它。

包含本文的收藏 0

没有包含本文的收藏

请将本文添加到一个收藏（https://huggingface.co/new-collection）中以从本页链接到它。