SenseNova-RoboRSI 表明，仅靠强大的基准测试成绩并不足以实现具身智能。

真实机器人面临碰撞、过热、时效性任务，以及那些无法通过简单增加步骤来撤销的错误。

这项公开研究让这些实际局限变得更加清晰可见。

报告： https://arxiv.org/abs/2610.22471

GPT-6-Astra 是否已实现具身智能？

来源：https://arxiv.org/html/2610.22471

摘要

GPT-6-Astra 在机器人操作和导航方面展现出的能力水平，对为每个任务和具身形态构建专用模型的传统范式构成了挑战。在这份报告中，我们不仅探讨 GPT-6-Astra 的能力有多强，还分析其能力对整个领域的意义。首先，我们探究独立 GPT-6-Astra 的能力极限。我们在 12 个代表性基准上进行了大规模评估，涵盖桌面操作、人形机器人、移动平台和灵巧手。在允许从训练集示范进行上下文学习（ICL）并大幅增加执行步数的统一协议下，GPT-6-Astra 取得了前所未有的性能表现（图1 https://arxiv.org/html/2610.22471#S0.F1）。我们的分析表明，未来研究应越来越聚焦于改进以下方面：1）上下文学习的泛化能力；2）成本和执行时间；3）物理状态验证；4）从不可逆故障中的恢复；5）长程任务中进度的保持。其次，我们研究了用于具身控制的智能体框架（harness）。除了探索理想的动作表示和分块参数外，我们发现高层“系统2“推理器（即 GPT-6-Astra）与低层“系统1“控制器（例如 π₀.₅）之间的闭环协作虽然成本高昂但效果显著。第三，我们在真实世界部署中检验了 GPT-6-Astra。我们在 8 种机器人配置上进行的实验揭示了显著的差距：1）上下文学习所需的机器人示范采集成本高昂；2）在物理约束下，用更长的执行时间换取更高成功率是不现实的。第四，我们展望了下一代具身基准。我们开发了一个原型，该原型 1）从真实需求而非当前机器人能力出发设计任务；2）不提供任何领域内示范；3）在世界时钟持续运行的情况下对智能体进行评判。综合来看，我们的结果表明 GPT-6-Astra 已基本跨越了具身能力的门槛，但尚未跨越实用具身智能的门槛。剩下的关键挑战是如何将基准测试的成功转化为可靠、高效且可扩展的真实世界部署。

\checkdata

[主页]https://www.sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence

参考图注 图1：在统一协议下对 GPT-6-Astra 在 12 个基准上的能力上限进行探测，该协议 1）允许在训练集上进行上下文学习（ICL）；2）将步数限制（预算）扩展至最高 10×。RoboLab 没有训练集，因此不适用 ICL；BEHAVIOR 因其官方预算较大，未扩展至 10×。SOTA 截止日期：2026年10月12日。详情见表2（https://arxiv.org/html/2610.22471#S9.T2）。## 1 引言

GPT-6-Astra 的出现标志着具身智能领域的重大转变：一个通用模型如今能够处理传统上由专用模型（如 VLA 和 WAM）主导的机器人操作和导航任务，同时展现出零样本泛化、上下文学习和故障恢复等能力。在这份技术报告中，我们以 GPT-6-Astra 为切入点来审视一个更广泛的问题：这种新水平的具身能力对研究社区意味着什么？该领域下一步应该走向何方？我们首先在多样化的具身任务上进行大规模评估，以刻画其能力范围并识别哪些问题已接近饱和。然后我们研究框架设计，理解将这些能力转化为有效控制时的性能-成本权衡。接下来，我们在真实机器人上验证我们的发现，探究基准测试的成功能在多大程度上迁移到物理部署，以及还存在哪些差距。最后，我们重新审视基准设计，并展望下一代具身基准应具备的特征。

首先，我们在统一协议下探测 GPT-6-Astra 具身能力的上限。我们在 12 个代表性基准上进行了大规模研究，涵盖桌面机械臂、人形机器人、移动平台和灵巧手。在该协议下，GPT-6-Astra 以显著优势超越了现有方法，包括同样基于 GPT-6-Astra 构建的近期智能体方法。值得注意的是，如图1（https://arxiv.org/html/2610.22471#S0.F1）所示，它在 LIBERO 系列和 SIMPLE 上接近饱和，在 RoboDojo 上达到 81.9%，在 DexJoCo 上达到 87.3%。该协议遵循两条简单且有充分依据的原则：

1）我们允许从训练集进行上下文学习（ICL）——只要存在成功的示范，我们认为这是合理的，因为训练较小的任务专用策略时通常可以获取此类示范。GPT-6-Astra 研究可用的训练数据，并构建一个冻结的知识包，包含任务指导、运动和视觉参考、可执行辅助工具、恢复流程和元数据。在测试时，它检索并适配这些资源以适应当前场景。当示范充分覆盖测试分布时，这能显著提升性能，但随着任务偏离构建知识包所用的数据，收益会减弱。

2）我们大幅增加执行预算——允许最多比官方设置多 10× 的交互步数。我们发现标准步数限制可能显著低估 GPT-6-Astra 的能力。额外的交互在受益于反复纠正的任务上带来了巨大提升，如 RoboDojo 和 Bench2Dex，因为 GPT-6-Astra 能够检测失败动作、修改策略并通过进一步交互实现恢复。这种新兴的故障恢复能力是使更大执行预算转化为更高成功率的关键机制。

我们强有力的实证结果使我们能够更清晰地识别 GPT-6-Astra 的剩余局限。具体而言，我们发现：i）上下文学习在超出示范来源任务时泛化能力很差；ii）即使是简单任务，其推理成本和执行时间也远远超出商业部署可行的范围；iii）GPT-6-Astra 经常难以验证物理上的成功并确定哪些任务条件尚未满足；iv）GPT-6-Astra 经常难以识别任务失败的原因；v）它无法可靠地从重大或不可逆的故障中恢复；vi）长程执行仍然困难，因为模型难以在多个子任务之间保持和追踪进度。

其次，我们对框架设计进行了消融研究，发现有效释放 GPT-6-Astra 的具身性能关键取决于协作协议和动作接口两个方面。我们首先研究“系统2“（即 GPT-6-Astra）与“系统1“（例如 π₀.₅ [13]）之间的交互。闭环协作——GPT-6-Astra 在 VLA 提出的动作执行前对其进行审查和优化——相比独立执行或开环执行显著提升了性能，但频繁的系统2监督带来了显著的 token 成本。审查更长的动作序列改善了这一权衡，而将闭环协作与 ICL 结合则以最高成本获得最强性能。我们进一步研究了动作表示和分块，识别出多模态推理与低层机器人控制之间的表示鸿沟。直接关节角控制表现不佳，而语义对齐更好的末端执行器指令效果更好；自适应动作分块进一步提升了性能，同时减少了不必要的模型调用。综合这些发现，框架设计应暴露与模型推理能力对齐的动作空间，同时将精确执行委托给低层控制器，并通过自适应交互来平衡性能和推理成本。

第三，我们在真实世界机器人上验证了 GPT-6-Astra，涵盖单臂和双臂机器人、夹爪、灵巧手、轮式移动操作机器人和人形机器人。我们的研究揭示了三个关键发现。1）GPT-6-Astra 能在广泛的具身形态上有效运行，但其成功率高度依赖任务。它在桌面抓取等任务上表现出色，而可变形物体操作、精确接触和长程任务仍然具有挑战性。2）GPT-6-Astra 展示了令人惊讶的主动视觉能力，会刻意移动相机位置以获取后续动作所需的观测。3）GPT-6-Astra 表明一个较慢的“系统2“模型可以直接与高频“系统0“运动控制器协作，完成需要高频局部控制的人形机器人操作任务。与此同时，真实世界部署带来了仿真中基本不存在的挑战。由于安全约束、机械限制和实时要求，GPT-6-Astra 不再能轻易用额外的执行步骤换取更高的成功率。此外，在仿真中作为我们 ICL 设置核心的成功轨迹示范，在真实世界应用中通常成本高昂或难以获取。

第四，我们展示了一个原型，它代表了我们对下一代具身智能基准的设想。我们提出三个原则。1）任务应从人类需求出发设计，并以人们自然表达的方式进行描述，评估基于结果的效用而非固定的目标状态。2）不提供领域内训练回合或场景特定的示范；智能体应在部署过程中获取经验。3）世界应在智能体思考期间持续演化，使推理时间及其物理后果成为评估的一部分。该原型在一个面向部署的场景中使若干剩余局限更加明显：i）GPT-6-Astra 关注当前步骤，但可能忽略它引起的环境中其他变化，例如留着冰箱门敞开；ii）在没有示范的情况下，它难以弄清不熟悉的物体和机构如何工作，或如何调整自身姿态与它们交互；iii）由于世界在其推理期间持续变化，它获取的观测可能在动作执行前就已过时。构建此类基准还在可靠评判、仿真保真度、实时评估和评估成本方面带来了实际挑战。

总之，通过将 GPT-6-Astra 推向其能力极限、剖析支撑该性能的框架、在真实机器人上验证其行为、以及重新思考具身智能的评估方式，我们旨在厘清哪些已经发生了变化，以及哪些问题从根本上仍未解决。

2 统一协议下的大规模研究

我们在 12 种具身场景中研究 GPT-6-Astra，涵盖操作、人形机器人移动操作、家务活动和导航，采用单一协议，模型权重保持固定不变。两个条件塑造了这项研究：上下文学习（ICL），它使 GPT-6-Astra 能够访问与传统策略学习所用相同的训练示范；以及扩展的交互预算，它给 GPT-6-Astra 更多机会在单个回合内纠正错误。

2.1 协议

我们的研究涵盖 12 个评估场景，分为五类：桌面操作（RoboDojo [26]、RoboLab [161]、LIBERO-Long++ 和 LIBERO-Ultra-Long [162]，以及 LIBERO-PRO [183]），灵巧操作（Bench2Dex [163] 和 DexJoCo [144]），人形机器人移动操作（SIMPLE [152]），长程家务活动（BEHAVIOR [8]），以及视觉语言导航（VLN-CE R2R 和 RxR [87]，以及 LHPR-VLN [134]）。

我们在两种交互预算（1× 和 10×）下以示范知情协议评估 GPT-6-Astra，如图2（https://arxiv.org/html/2610.22471#S2.F2）所示。该协议将使用训练示范的准备阶段与测试时的交互区分开来。我们报告标准预算和扩展预算下的性能，扩展预算允许更多交互步数用于执行和恢复。

**动机。**学习的机器人策略通常在基准提供的示范上进行训练或微调。因此，如果不提供这些示范来评估 GPT-6-Astra，实际上是在一个不同的信息条件下衡量其性能。我们使用上下文学习（ICL）来研究 GPT-6-Astra 在不更新模型权重的情况下，能多有效地利用可用的训练示范。我们的目标是刻画当传统策略训练所用的任务相关信息同样通过上下文准备提供给它时，GPT-6-Astra 的能力表现。

我们还研究了交互预算的影响。在我们的评估中，GPT-6-Astra 经常能识别不成功的动作、修改策略并通过进一步交互实现恢复。严格的步数限制可能在恢复成功之前就终止这一过程。因此我们在两种预算下进行评估。标准预算（1×）是各基准规定的交互预算，用于衡量其预期条件下的性能；扩展预算（10×）允许最多十倍的动作步数，用于衡量当策略有更多机会纠正错误时，任务完成率的改善程度。

**上下文学习准备。**在测试之前，GPT-6-Astra 针对每个任务经历一个独立的 ICL 准备阶段，使用以基准适当的观测和示范动作表示的可用训练示范。在准备过程中，GPT-6-Astra 可以分析示范并编写任务特定的笔记和可复用代码。这些材料构成一个知识包，在评估前冻结，并提供给该任务的每个测试回合。GPT-6-Astra 的模型权重保持不变。准备阶段不包括保留的测试回合和评估者私有信息。

**回合评估。**每个测试回合在全新的隔离会话中开始，包含任务指令、冻结的知识包以及允许的观测和动作接口。在每个决策点，GPT-6-Astra 检查当前观测并指定下一个动作或动作序列。环境执行这些动作并返回新的观测，GPT-6-Astra 利用这些观测评估结果并确定下一步动作。交互历史在回合内保留，使 GPT-6-Astra 能够诊断错误并尝试恢复。知识包和模型权重