自进化编程代理:从数字程序到物理世界智能

Hugging Face Daily Papers 论文

摘要

本文提出了物理编程,将机器人任务表示为可执行代码,并介绍了HexaAnything,一种自进化编程代理,它在RoboCasa365和PhyBench等基准测试上提升了性能,对现实世界智能具有启示意义。

视觉-语言-动作(VLA)和世界-动作(WAM)模型直接将观测和指令映射到机器人动作。这种直接性将策略与训练紧密绑定:布局或视角的微小变化会导致失败,且指令泛化能力差。根本原因在于表示方式:任务需求、条件、进度和失败恢复隐式编码在动作序列中,使其难以检查或修改。数字编程代理提供了先例:大语言模型调用工具、验证结果,并根据反馈修改可执行代码。同样的显式状态、可管理执行和可修改程序的工作模式,为物理世界的泛化和长期执行奠定了基础,使物理经验能够以可重用程序、记忆或证据的形式返回。我们提出物理编程,将任务状态和执行表示为代码。代码作为世界记录对象、关系、约束和进度;代码作为策略组织规划、验证、恢复和执行。我们构建了HexaAnything,它调用感知、规划和控制工具,包括VLA/WAM策略,并基于外部反馈进行循环决策。验证过的轨迹成为数据和记忆,使得从工具和框架到模型权重、架构,最终到硬件和任务设计的进化成为可能。在RoboCasa365上,HexaAnything在Composite-Unseen和整体成功率上优于XR-1 VLA,其经框架训练的HexaModel在每个分割上都优于基准模型,表明代码轨迹内化了物理执行。在PhyBench和双臂AgileX机器人上,该代理自主完成物理实验和大多数桌面任务,通常比已公布的结果更快。我们观察到数据、模型和工具的自进化;未来工作目标是权重内化、架构、语言、表示和任务的自主重新设计,以及在制造业和科学领域的部署。
查看原文
查看缓存全文

缓存时间: 2026/09/29 04:09

论文页面 - 自进化代码代理:从数字程序到物理世界智能

来源:https://huggingface.co/papers/2609.35432 作者:

,

,

,

,

,

,

,

,

,

,

,

摘要

视觉-语言-动作(VLA)和世界-动作(WAM)模型直接将观测和指令映射为机器人动作。这种直接性将策略与训练紧密耦合:布局或视角的轻微改变就会导致失败,且指令的泛化能力很差。根本原因在于表示方式:任务需求、条件、进度和故障恢复被隐式编码在动作序列中,使其难以检查或修订。数字代码代理提供了一个先例:大语言模型(LLMs)调用工具、验证结果并根据反馈修订为可执行代码。同样的工作模式——显式状态、可管理和可修订的流程——构成了物理世界中泛化和长时程执行的基础,使得物理经验可以以可重用程序、记忆或证据的形式回归。我们提出了物理编码,将任务状态和执行表示为代码。代码作为世界记录对象、关系、约束和进度;代码作为策略组织规划、验证、恢复和执行。我们构建了 HexaAnything,它调用感知、规划和控制工具(包括VLA/WAM策略),并根据外部反馈做出在环决策。经过验证的轨迹成为数据和记忆,推动了从工具和程序到模型权重、架构,最终到硬件和任务设计的进化。在 RoboCasa 365 上,HexaAnything 在复合-未见(Composite-Unseen)和整体成功率上优于 XR-1 VLA,其通过 Harness 训练的 HexaModel 在所有划分上都优于基线模型,表明代码轨迹内化了物理执行。在 PhyBench 和一台 AgileX 双臂机器人上,该代理自主完成了物理实验和大部分桌面任务,通常比已公布的结果更快。我们观察到了数据、模型和工具的自进化;未来的工作目标是权重内化、架构、语言、表示和任务的自主再设计,以及在制造业和科学领域的部署。

查看 arXiv 页面 (https://arxiv.org/abs/2609.35432)查看 PDF (https://arxiv.org/pdf/2609.35432)项目页面 (https://hexafuture.ai/blog/physical-coding)GitHub (https://github.com/HexaFuture/PhysicalCoding)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.35432)

在你的代理中获取此论文:

hf papers read 2609\.35432

没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.35432 以从本页链接。

引用此论文的数据集0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.35432 以从本页链接。

引用此论文的 Spaces0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.35432 以从本页链接。

包含此论文的收藏0

无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从本页链接。

相似文章

自演化编码智能体

Hugging Face Daily Papers

本文综述了自演化编码智能体,这类智能体通过从先前的编码交互中更新框架、记忆、技能、工具或模型来改进其未来行为,并提出了一个分类体系,涵盖演化什么、何时演化以及由哪些软件特定证据驱动。

与代理协作编程

Reddit r/singularity

与代理协作编程探讨了AI代理如何帮助开发者编写代码、自动化任务以及提高生产力。

编码代理作为世界模拟器表现良好

arXiv cs.AI

本文提出了一种基于代理的框架,利用编码代理从自然语言提示生成物理上可信的世界模拟,在物理准确性和指令保真度方面优于基于视频的模型。

Code World Model:编程代理作为世界大脑

Hugging Face Daily Papers

本文介绍了Code World Model,这是一个结合了用于推理和编码的语言模型与用于视觉渲染的视频模型,以开放式方式模拟持续世界演化的框架。