论文页面 - Rollback：通过世界模型中的经验回溯改进策略

来源：https://huggingface.co/papers/2610.36068 发表于10月26日

当日排名第 #3 的论文 (https://huggingface.co/papers/date/2026-10-28) 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

Rollback 利用世界模型回退到过去的决策点、探索反事实动作并生成细粒度监督，从而改进机器人策略，同时通过真实世界反馈持续优化动力学模型。

以动作为条件的世界模型 (https://huggingface.co/papers?q=Action-conditioned%20world%20models)为改进机器人策略提供了一种可扩展的替代方案，可减少成本高昂的真实世界交互。然而，现有基于世界模型的方法大多将世界模型视为物理环境中只能向前运行的替代品，尚未利用一种任何物理环境都不具备的能力：回退到过去的决策点，探索反事实未来 (https://huggingface.co/papers?q=counterfactual%20futures)。我们提出 Rollback (https://huggingface.co/papers?q=Rollback)，这是一种策略改进范式，将世界模型从被动模拟器转变为反事实引擎：它回退到关键决策点，分支探索不同动作，并对比其结果，以确定各个决策对成功的贡献。这使想象过程集中在最重要的环节，并将反事实结果提炼为细粒度的动作级监督，无需单独学习价值模型。我们构建了一个可扩展的训练系统，将分布式世界模型搜索 (https://huggingface.co/papers?q=world-model%20search)与异步真实机器人执行相结合，形成一个自我强化的循环：真实世界经验不断提升世界模型的准确性，而更准确的世界模型又进一步推动策略改进。我们将这一循环中世界模型一侧的过程称为测试时物理锚定 (https://huggingface.co/papers?q=test-time%20physics%20grounding)，这是一种手工构建的物理模拟器所不具备的能力：当世界模型充当训练环境时，由其所训练策略产生的真实状态转移会通过轻量级 LoRA (https://huggingface.co/papers?q=LoRA)流程修正其动力学。在三项具有挑战性的真实世界任务上的实验表明，与最强基线相比，Rollback (https://huggingface.co/papers?q=Rollback)在积木抽取、抛球和桌面冰壶任务上的成功率分别提高了10.67、11.11和11.85个百分点，同时在整个训练过程中实现了更稳定的改进。尽管初始化所用的遥操作演示表现远低于人类水平，Rollback (https://huggingface.co/papers?q=Rollback)仍在8小时训练内，在抛球和桌面冰壶两项任务上超过了人类玩家的平均成功率。

查看 arXiv 页面 (https://arxiv.org/abs/2610.36068)查看 PDF (https://arxiv.org/pdf/2610.36068)项目页面 (https://rollback-wm.github.io/)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.36068)

在你的智能体中获取这篇论文：

hf papers read 2610\.36068

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

尚无模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.36068，即可从此页面链接到该模型。

引用这篇论文的数据集0

尚无数据集链接到这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.36068，即可从此页面链接到该数据集。

引用这篇论文的 Spaces0

尚无 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.36068，即可从此页面链接到该 Space。

收录这篇论文的收藏集0

尚无收藏集收录这篇论文

将这篇论文添加到收藏集 (https://huggingface.co/new-collection)，即可从此页面链接到该收藏集。