自动化设计具身智能体架构
摘要
本文介绍了AgentCanvas(一种用于具身智能体的类型化图运行时)和KDLoop(一种编码智能体搜索程序),以自动化具身智能体架构的设计,并在多个具身任务上进行评估,揭示了诸如 rollout 噪声和局部编辑盆地等挑战。
查看缓存全文
缓存时间: 2026/07/09 15:40
论文页面 - 具身代理架构的自动化设计
来源:https://huggingface.co/papers/2606.30111 发布于7月3日
·
由 Zhou (https://huggingface.co/JianZhou0420) 于7月9日提交
摘要
自动化代理架构搜索在提升具身代理性能方面展现出潜力,同时也揭示了基于模拟训练中与优化信号、局部最优和信用分配相关的挑战。
具身代理通常被构建为感知、记忆、规划、动作模块的手工设计组合。这种模块化暴露了巨大的架构设计空间,但当前系统仍依赖研究人员的直觉来决定信息存储位置、观测处理方式以及模型调用连接方式。代理架构搜索(AAS)已实现文本域代理此类设计的自动化,但尚未通过模拟器 rollout 对感知型具身代理进行系统评估。我们研究这种迁移。我们引入 AgentCanvas——一种类型化的图运行时,将具身执行器托管为可编辑的节点-线程序,具备模拟器感知执行和片段级日志;以及 KDLoop——一种编码代理搜索过程,通过提议、批评、实验和精炼循环,并在停滞时触发反思。我们在四个具身执行器(涵盖视觉-语言导航、具身问答和语言条件操控)上评估了三种 AAS 变体。由此产生的 3x4 矩阵表明,架构级搜索能够在具身任务上产生可部署且定向的成功率提升,同时一个看似高分候选被判定为存在泄露。同时,实验揭示了文本域 AAS 中未被注意的约束:优化信号可能被 rollout 噪声掩盖,搜索可能陷入局部编辑盆地,即使有详细日志可用,片段级信用分配也仅部分浮现。这些结果表征了自动化架构搜索对具身代理的潜力和当前局限。
查看 arXiv 页面 (https://arxiv.org/abs/2606.30111) 查看 PDF (https://arxiv.org/pdf/2606.30111) 项目页面 (https://jianzhou0420.github.io/src/works/AgentCanvas/paper.html) GitHub33 (https://github.com/jianzhou0420/AgentCanvas) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.30111)
在您的代理中获取此论文:
hf papers read 2606.30111
没有最新 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型0
无模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2606.30111 以从此页面链接。
引用此论文的数据集0
无数据集链接此论文
请在数据集 README.md 中引用 arxiv.org/abs/2606.30111 以从此页面链接。
引用此论文的 Spaces0
无 Space 链接此论文
请在 Space README.md 中引用 arxiv.org/abs/2606.30111 以从此页面链接。
包含此论文的收藏集0
无收藏集包含此论文
请将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
CanvasAgent: 通过视觉工具编排实现复杂图像创建与编辑
本文介绍了 CanvasCraft,一个用于复杂图像创建与编辑的大规模多模态工具使用数据集,以及 CanvasAgent,一个通过多轮交互和混合奖励优化来学习编排异构视觉工具的工具增强型多模态智能体。
@dair_ai: Very cool idea to have agents design complex systems by searching over the model structure itself. New research from Sa…
A tweet from DAIR AI highlights new research by Sakana AI introducing CEDAR, an LLM-agent method that designs, simulates, and refines complex system-dynamics models via Monte Carlo Tree Search over feedback structures, aiming to automate goal-directed design in artificial life.
编码代理是否缺少架构层?我构建了一个开源代理工具来实验这一想法
一位开发者实验了在编码代理中加入显式架构层的概念,构建了一个开源代理工具来测试该想法,并探讨了代理设计中的潜在权衡。
具身CAD:基于求解器的LLM智能体用于参数化B-Rep装配建模
介绍具身CAD(Embodied CAD),一个闭环框架,将LLM智能体置于CAD执行环境中,用于参数化B-Rep装配建模,利用求解器反馈进行规划和优化。
AgentSpec:通过受控组合理解具身智能体脚手架
介绍AgentSpec,一个模块化的规范框架,用于系统地组合和分析具身LLM智能体脚手架,揭示了性能取决于脚手架的兼容性和交互效应,而非孤立模块的强度。