论文页面 - WorldToken：面向机器人模仿学习的时序优先序列建模

来源：https://huggingface.co/papers/2608.22591

摘要

WorldToken 将异构机器人观测数据融合为逐时间步的世界标记，通过因果 Transformer 和扩散动作头进行处理，并在 RoboCasa 和 RMBench 上进行了规模扩展与时间上下文分析。

机器人策略在每个决策步骤中接收异构观测，但序列模型在组织这些输入随时间变化的方式上存在差异。我们提出了 WorldToken (https://huggingface.co/papers?q=WorldToken)，一种时序优先的策略实现方式，它在每个策略时间步内将多视角图像 (https://huggingface.co/papers?q=multiview%20images)、本体感知 (https://huggingface.co/papers?q=proprioception) 和任务条件 (https://huggingface.co/papers?q=task%20conditioning) 融合为一个世界标记 (https://huggingface.co/papers?q=world%20token)。因果时序 Transformer (https://huggingface.co/papers?q=causal%20temporal%20Transformer) 对生成的世界标记序列进行建模，而扩散动作头 (https://huggingface.co/papers?q=diffusion%20action%20head) 生成动作块。在 23 个 RoboCasa 任务上，一个从头开始训练（除冻结的预训练 CLIP 文本编码器外）的 8530 万参数策略，使用每个任务生成的 2900 个演示，达到了 59.45% 的平均闭环成功率 (https://huggingface.co/papers?q=closed-loop%20success)。对五种数据集规模、五种模型规模和两个训练种子的完整因子扫描显示，增加目标域数据带来持续增益，而超过中等模型规模后收益递减。在相同检查点下的历史截断实验中，将可见历史减少到一或两个策略时间步，降低了所有 50 个 RoboCasa 策略的闭环成功率 (https://huggingface.co/papers?q=closed-loop%20success)。在 RMBench Blocks Ranking 测试中，将可见历史从 146 秒减少到 8 秒，使评估器成功率从 95% 降至 28%，而一次探索性的延长展开能够维持参考交换序列超过 850 秒。这些结果确立了完整 WorldToken (https://huggingface.co/papers?q=WorldToken) 实现在经验上的可行性，并描述了其在测试配置下的数据扩展和时间上下文行为。但这些结果并未确立其对替代序列组织方式的优越性，也未孤立出完整实现中驱动观察性能的具体组件。

查看 arXiv 页面 (https://arxiv.org/abs/2608.22591) 查看 PDF (https://arxiv.org/pdf/2608.22591) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.22591)

在你的智能体中获取此论文：

hf papers read 2608\.22591

尚未安装最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.22591 以从此页面链接。

引用此论文的数据集 0

暂无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.22591 以从此页面链接。

引用此论文的 Space 0

暂无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.22591 以从此页面链接。

包含此论文的收藏集 0

暂无收藏集包含此论文

将此论文添加至收藏集 (https://huggingface.co/new-collection) 以从此页面链接。