Adaptive Auto-Harness: 在开放式任务流上实现智能体系统部署的持续自我改进

Hugging Face Daily Papers 论文

摘要

Adaptive Auto-Harness 是一个框架,用于在开放式任务流上部署的智能体系统的持续自我改进,通过状态性多智能体进化器、harness树和人工引导钩子超越基线。

自动harness系统(如A-Evolve、GEPA和Meta-Harness)通过优化提示、技能、工具、记忆和支持性基础设施,根据执行反馈改进LLM智能体,但它们通常在固定的离线基准上进行评估。实际部署则呈现出开放式任务流:历史记录不断增长,没有固定终点;异构任务需要不同的harness;问题分布随时间变化。这些挑战使得单个反复密集更新的harness变得脆弱,导致性能下降,因为准确率早期达到峰值后下降。这促使我们进行持续的harness构建,并逐任务调整。我们引入了Adaptive Auto-Harness,这是一个针对此类任务流的框架和系统。该框架将与最优harness之间的差距分解为进化损失和适应损失。该系统通过状态性多智能体进化器、带有求解时路由的harness树以及针对历史缺乏所需信号情况的人工引导钩子来解决这些损失。在预测市场、安全竞赛和事件预测流中,Adaptive Auto-Harness优于五个现有的自动harness基线,消融实验将收益归因于更好的构建、路由或针对性的人工引导。代码可在 https://github.com/A-EVO-Lab/AdaptiveHarness 获取。
查看原文
查看缓存全文

缓存时间: 2026/06/03 19:39

论文页面 - Adaptive Auto-Harness: Sustained Self-Improvement for Agentic System Deployment on Open-Ended Task Streams

来源: https://huggingface.co/papers/2606.01770

摘要

Adaptive Auto-Harness 框架通过将性能差距分解为进化损失和适应损失,利用有状态多智能体进化器、适配树和求解时分流,实现在动态任务流上的持续性能改进。

Auto-Harness 系统(https://huggingface.co/papers?q=Auto-harness%20systems)如 A-Evolve、GEPA 和 Meta-Harness,通过优化提示、技能、工具、记忆以及从执行反馈中获取的支持基础设施来改进 LLM 智能体(https://huggingface.co/papers?q=LLM%20agents),但它们通常基于固定的离线基准进行评估。实际部署面临的是开放式任务流:任务历史无限增长,异构任务需要不同的适配框架,且问题分布随时间变化。这些挑战使得单一且频繁密集更新的适配框架变得脆弱,导致准确率在达到峰值后迅速下降。这推动了需要具备任务级适应能力的持续适配框架构建。我们提出 Adaptive Auto-Harness,一个专为此类任务流设计的框架与系统。该框架将与理想适配框架之间的差距分解为进化损失(https://huggingface.co/papers?q=evolution%20loss)和适应损失(https://huggingface.co/papers?q=adaptation%20loss)。系统通过有状态多智能体进化器(https://huggingface.co/papers?q=stateful%20multi-agent%20evolver)、带求解时分流(https://huggingface.co/papers?q=solve-time%20routing)的适配树(https://huggingface.co/papers?q=harness%20tree),以及在历史缺乏必要信号时的人工干预钩子(https://huggingface.co/papers?q=human-steering%20hooks)来应对这些损失。在预测市场、安全竞赛和事件预测的任务流上,Adaptive Auto-Harness 超越了五种现有的 Auto-Harness 基线,消融实验表明性能提升来源于更好的构建、路由或针对性的人工引导。代码可在 https://github.com/A-EVO-Lab/AdaptiveHarness 获取。

查看 arXiv 页面(https://arxiv.org/abs/2606.01770)查看 PDF(https://arxiv.org/pdf/2606.01770)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2606.01770)

在你的智能体中获取此论文:

hf papers read 2606.01770

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.01770 以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.01770 以从此页面链接。

引用此论文的 Space0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.01770 以从此页面链接。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到收藏(https://huggingface.co/new-collection)以从此页面链接。

相似文章

持续增强框架:面向自我改进基础智能体的在线适应

Hugging Face Daily Papers

本文介绍了“持续增强框架”(Continual Harness),该框架使具身人工智能智能体能够在无需重置环境的情况下实现在线自我改进。研究展示了在《宝可梦》游戏中的显著进展,通过自动化提示词和技能优化,智能体达到了人类水平的表现。

面向长时应用开发的Harness设计

Anthropic Engineering

Anthropic工程师详细介绍了一种多智能体Harness设计,利用生成器与评估器智能体提升Claude在长时间内自主构建完整、高质量前端应用的能力。