从 VLM 规划器到机器人智能体:面向历史依赖操作的自我进化 Harness
摘要
论文提出 SERA(Self-Evolving Robotic Agent),通过可编辑的 harness 维护任务上下文并利用执行反馈自我进化规划,配合固定的 VLA 执行器来改进长时程机器人操作任务,在 RoboMME 上取得 51.38% 的成功率。
查看缓存全文
缓存时间: 2026/10/22 15:37
论文页面 - 从 VLM 规划器到机器人智能体:面向历史依赖型操作任务的自进化框架(Self-Evolving Harnesses)
来源:https://huggingface.co/papers/2610.29560
作者:
,
,
,
,
,
,
,
,
,
,
摘要
SERA 通过使用一个可编辑的框架(harness)来维护任务上下文,并借助执行反馈不断进化规划能力,同时配合一个固定的低层 VLA 执行器,从而提升长时程机器人操作任务的表现。
视觉-语言-动作(Vision-Language-Action, VLA)模型通过统一视觉理解、语言条件化和动作生成,在具身操作任务中取得了出色的性能。然而,长时程任务可能涉及非马尔可夫依赖(non-Markovian dependencies):成功的决策可能需要保留任务进度和过去的交互结果,而部分可观测性和执行误差会随时间不断累积。现有工作已开始通过为基座模型策略引入记忆机制以及引入分层架构(hierarchical architectures)来应对这些挑战,将高层规划与低层执行分离。
我们通过一个可编辑的框架(editable harness)将高层 VLM 组织为机器人智能体,以维护任务上下文(task context)并利用执行经验改进规划。我们将该方法实现为 SERA(自进化机器人智能体,Self-Evolving Robotic Agent),由一个固定的 VLA 执行器提供低层控制。该框架使用观测和执行反馈(execution feedback)来维护和更新任务上下文,从而指导后续规划。自进化过程利用环境推演(environment rollouts)来提出并评估框架的修订方案,选定的配置在保留测试(held-out test)开始前固定不变。在 RoboMME 上,SERA 在自主选择配置的情况下取得了 51.38% 的总体成功率,而无自进化机制时为 44.38%。我们的探索表明,智能体式规划(agentic planning)是面向历史依赖型机器人操作任务的一个有前景的方向。
查看 arXiv 页面 (https://arxiv.org/abs/2610.29560) 查看 PDF (https://arxiv.org/pdf/2610.29560) 项目页面 (https://stevenkkxs.github.io/sera-webpage/) GitHub2 (https://github.com/StevenKKXS/SERA) 加入收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.29560)
在你的智能体中获取这篇论文:
hf papers read 2610\.29560
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型 0
暂无模型关联本文
在模型的 README.md 中引用 arxiv.org/abs/2610.29560 即可从此页面链接过去。
引用本文的数据集 0
暂无数据集关联本文
在数据集的 README.md 中引用 arxiv.org/abs/2610.29560 即可从此页面链接过去。
引用本文的 Spaces 0
暂无 Space 关联本文
在 Space 的 README.md 中引用 arxiv.org/abs/2610.29560 即可从此页面链接过去。
包含本文的合集 0
暂无合集包含本文
将本文加入合集 (https://huggingface.co/new-collection) 即可从此页面链接过去。
相似文章
RoboHarness:一个简单的框架胜过 VLA 和世界动作模型
RoboHarness 提出一种简单的机器人控制框架,让大语言模型编码代理通过视觉-几何控制接口执行具身操作任务,在 BEHAVIOR Challenge 2025 任务上超越了最先进的视觉-语言-动作模型,实现已开源。
自我进化代理脚手架框架
提出一个自我进化代理框架(Harness RSI),在保持模型权重固定的情况下,通过反馈驱动的修订与进化优化,持续改进代理的软件脚手架(提示、记忆、工作流和可执行组件),并借助持续 PAC 学习为泛化与保留能力提供理论保证。
EvoHarness-RL:为长时程LLM智能体学习自进化运行时框架
介绍了EvoHarness-RL,一个为长时程LLM智能体学习运行时框架策略的框架,使其能够在任务执行过程中构建和更新外部状态(信念、进度、经验)。在ALFWorld上使用Qwen3-8B,它达到了96.9%的成功率,并揭示了框架退火和进化动态。
@dair_ai: 关于自进化代理框架的精彩论文。自进化代理框架有两个实际问题:1. 搜索很慢…
论文提出了 Ecdysis,一个用于训练LLM代理运行时框架的框架,它通过识别重复的失败模式来提高效率和准确性,实现了1.84倍更快的训练和18.56%更高的推理准确性。
层级自改进:任务特定可演化代理执行框架
本文介绍了层级自改进(HSI),这是一个通过层级自修改演化任务特定执行框架来增强冻结LLM代理的框架,在中等难度任务上取得了显著提升,但受限于反馈质量和骨干模型能力。