自动化设计具身智能体架构

Hugging Face Daily Papers 论文

摘要

本文介绍了AgentCanvas(一种用于具身智能体的类型化图运行时)和KDLoop(一种编码智能体搜索程序),以自动化具身智能体架构的设计,并在多个具身任务上进行评估,揭示了诸如 rollout 噪声和局部编辑盆地等挑战。

具身智能体通常被构建为感知、记忆、规划和动作模块的手工设计组合。这种模块化暴露了巨大的架构设计空间,但当前系统仍然依赖研究人员的直觉来选择信息存储位置、观察处理方式以及模型调用的连接方式。智能体架构搜索(AAS)在文本领域智能体中实现了此类设计的自动化,但尚未在通过模拟器 rollout 的感知型具身智能体上进行系统评估。我们研究了这一迁移。我们引入了AgentCanvas,一种类型化图运行时,它将具身执行器承载为可编辑的节点-连线程序,具有模拟器感知的执行和回合级日志;以及KDLoop,一种编码智能体搜索程序,在停滞时通过触发反思循环进行提案、批评、实验和蒸馏。我们在四个具身执行器上评估了三种AAS变体,涵盖视觉-语言导航、具身问答和语言条件操作。得到的3x4矩阵显示,架构级搜索可以在具身任务上产生可部署且定向的成功率提升,而一个看似高分候选被拒绝为存在泄漏。同时,实验暴露了在文本领域AAS中不明显的约束:优化信号可能被rollout噪声掩盖,搜索可能陷入局部编辑盆地,并且即使在详细日志可用的情况下,回合级信用分配也只能部分出现。这些结果既展示了自动化架构搜索在具身智能体中的前景,也揭示了其当前局限。
查看原文
查看缓存全文

缓存时间: 2026/07/09 15:40

论文页面 - 具身代理架构的自动化设计

来源:https://huggingface.co/papers/2606.30111 发布于7月3日

·

由 Zhou (https://huggingface.co/JianZhou0420) 于7月9日提交

摘要

自动化代理架构搜索在提升具身代理性能方面展现出潜力,同时也揭示了基于模拟训练中与优化信号、局部最优和信用分配相关的挑战。

具身代理通常被构建为感知、记忆、规划、动作模块的手工设计组合。这种模块化暴露了巨大的架构设计空间,但当前系统仍依赖研究人员的直觉来决定信息存储位置、观测处理方式以及模型调用连接方式。代理架构搜索(AAS)已实现文本域代理此类设计的自动化,但尚未通过模拟器 rollout 对感知型具身代理进行系统评估。我们研究这种迁移。我们引入 AgentCanvas——一种类型化的图运行时,将具身执行器托管为可编辑的节点-线程序,具备模拟器感知执行和片段级日志;以及 KDLoop——一种编码代理搜索过程,通过提议、批评、实验和精炼循环,并在停滞时触发反思。我们在四个具身执行器(涵盖视觉-语言导航、具身问答和语言条件操控)上评估了三种 AAS 变体。由此产生的 3x4 矩阵表明,架构级搜索能够在具身任务上产生可部署且定向的成功率提升,同时一个看似高分候选被判定为存在泄露。同时,实验揭示了文本域 AAS 中未被注意的约束:优化信号可能被 rollout 噪声掩盖,搜索可能陷入局部编辑盆地,即使有详细日志可用,片段级信用分配也仅部分浮现。这些结果表征了自动化架构搜索对具身代理的潜力和当前局限。

查看 arXiv 页面 (https://arxiv.org/abs/2606.30111) 查看 PDF (https://arxiv.org/pdf/2606.30111) 项目页面 (https://jianzhou0420.github.io/src/works/AgentCanvas/paper.html) GitHub33 (https://github.com/jianzhou0420/AgentCanvas) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.30111)

在您的代理中获取此论文:

hf papers read 2606.30111

没有最新 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.30111 以从此页面链接。

引用此论文的数据集0

无数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.30111 以从此页面链接。

引用此论文的 Spaces0

无 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.30111 以从此页面链接。

包含此论文的收藏集0

无收藏集包含此论文

请将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

CanvasAgent: 通过视觉工具编排实现复杂图像创建与编辑

Hugging Face Daily Papers

本文介绍了 CanvasCraft,一个用于复杂图像创建与编辑的大规模多模态工具使用数据集,以及 CanvasAgent,一个通过多轮交互和混合奖励优化来学习编排异构视觉工具的工具增强型多模态智能体。