论文页面 - CaPtain：面向 Code-as-Policy 机器人智能体的后训练流水线

来源：https://huggingface.co/papers/2610.40799

摘要

CaPtain 通过监督微调与多轮强化学习（配合物理评审器）对小型开源视觉-语言模型进行训练，使其能够以代码方式执行机器人操作，在不依赖前沿模型或视觉-语言-动作主干的情况下取得了强劲的结果。

在编码、网页和工具使用任务中，语言模型智能体现在普遍使用同一套配方进行训练：先通过监督微调（SFT）学习接口，再通过多轮强化学习（RL）掌握它。Code-as-Policy（CaP）将机器人操作塑造成同样的形式——策略针对机器人 API 编写代码并读回结果，因此同一套配方理应适用。然而现有的 CaP 智能体都绕过了训练：它们要么直接提示闭源的前沿模型，要么将操作委托给预训练的视觉-语言-动作模型（VLA）和高层技能，而小型开源视觉-语言模型（VLMs）则完全无法胜任。我们提出 CaPtain——一个开源的后训练流水线，能将小型开源 VLM 打造成能力出众的 CaP 智能体，且测试时不依赖 VLA、前沿模型或特权状态。CaPtain 在 CaPtain-Harness（https://huggingface.co/papers?q=CaPtain-Harness）内完成策略的训练与部署，该框架在仿真与真实硬件上提供了底层感知、几何与受保护运动原语。我们首先使用 GPT-6 Astra 生成的合成轨迹，通过 SFT 对基座模型进行对齐，随后应用多轮强化学习。多轮强化学习必须从单一的回合结束结果出发，为数十次智能体请求分配信用——而这些请求的物理影响往往在数个回合之后才会显现。因此我们引入了物理评审器，它读取策略从未见过的特权仿真器状态，并根据每个请求对预测成功概率的改变程度来为其分配信用。从 Qwen3.5-4B（零样本 0%）出发，CaPtain-4B 在 SFT 后在留出 LIBERO 上达到 55.4% 成功率，RL 后达到 73.8%。在 LIBERO-PRO 上，它达到 78.5%，超越了多个前沿模型智能体，且其 RL 增益在三组扰动测试中持续有效（+17.6 至 +21.2 个百分点）。在没有目标域训练的情况下，它在 SimplerEnv WidowX 上达到 83.3%，在 CaP-Bench 上超过前沿模型，并在仅经仿真适配后即可在真实机器人上运行。我们开源了全部代码、数据和模型权重。

查看 arXiv 页面 (https://arxiv.org/abs/2610.40799) 查看 PDF (https://arxiv.org/pdf/2610.40799) 项目页面 (https://waltstephen.github.io/captain/) GitHub32 (https://github.com/waltstephen/CaPtain) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.40799)

在你的智能体中获取本文：

hf papers read 2610.40799

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

暂无模型链接本文

在模型 README.md 中引用 arxiv.org/abs/2610.40799 即可从本页面链接。

引用本文的数据集 0

暂无数据集链接本文

在数据集 README.md 中引用 arxiv.org/abs/2610.40799 即可从本页面链接。

引用本文的 Spaces 0

暂无 Space 链接本文

在 Space README.md 中引用 arxiv.org/abs/2610.40799 即可从本页面链接。

包含本文的收藏 0

暂无收藏包含本文

将本文添加到收藏即可从本页面链接。