@AlphaSignalAI: https://x.com/AlphaSignalAI/status/2074130508833845396

X AI KOLs Timeline 新闻

摘要

自我改进的机制使AI代理能够通过分析执行轨迹自主重写其运行规则,从而实现60%的性能提升。来自上海AI实验室的研究引入了Self-Harness框架,使得轻量级模型能够在无需人工工程的情况下超越更大规模的模型。

https://t.co/PefSe5k5f3
查看原文
查看缓存全文

缓存时间: 2026/07/07 03:24

AI代理通过重写自己的框架,性能提升高达60%

了解自我改进的代理框架如何通过自主优化和降低成本,彻底改变AI开发

对许多开发者来说,控制AI应用的关键杠杆是“代理框架“——这个连接语言模型与其工具、记忆和护栏的脚手架。

问题在于?手动编写的代理框架非常脆弱。换掉底层模型,整个应用架构就会崩溃。但新一轮开源研究正在改变这一范式:让模型分析自己的崩溃日志,并在任务执行过程中重写自己的运行规则。

今天,我们将深入解析自我改进的代理框架如何帮助轻量级模型发挥远超自身规模的实力,并为开发者节省大量API成本。

本文改编自 @bendee983 的 AlphaSignal Sunday 深度解析。订阅请访问 alphasignal.ai/newsletter。

为什么自我改进的代理框架是AI开发者的下一个前沿

大多数AI开发者缺乏从头训练基础模型或持续微调所需的算力预算、时间或数据管道。那是AI实验室和大企业的事。

对日常实践者来说,定制语言模型行为的主要控制杠杆是“代理框架“——一种让底层模型与工具及其环境交互的软件架构。

传统的代理框架工程需要手动、僵化且耗时的流程。当某个边缘场景导致应用崩溃时,工程师必须手动介入,重写逻辑、调试流程或凭直觉调整系统提示,而不是基于系统反馈。

新一轮研究将优化的负担从开发者转移给了AI本身。最新的框架允许模型分析自己的执行轨迹、测试新逻辑,并自主优化其运行环境。

这些工具可以为开发者提供一个自我强化的循环,提升AI应用的能力。

拆解代理框架

代理框架是指将原始语言模型连接到外部环境的代码。它包括系统提示、工具使用逻辑、记忆管理、错误处理和验证规则,这些是模型完成任务所必需的。

这个脚手架将一个基本的文本生成器转变为一个可靠、自主的代理,能够执行复杂的多步骤工作流。

通用代理框架的例子包括Claude Code、Codex、OpenClaw和Nous Hermes Agent。它们都以不同方式实现了上述要素。

但对于定制应用,你应当能够创建自己的代理框架并优化它,以处理任务的特殊细微差别。

手动编写的代理框架通常很脆弱。为一个模型架构构建的提示包装器或编排流程,在切换到另一个模型时经常崩溃,需要不断的人工重新设计来保持系统在更新中的正常功能。

Self-Harness:从内部重写规则

上海人工智能实验室的研究人员最近推出了Self-Harness。这个框架使代理能够自主重写和优化其运行规则,无需依赖人类工程师或更强的教师模型。

Self-Harness通过一个三阶段的迭代循环驱动持续进化:

  • 弱点挖掘: 代理运行一批任务并生成执行轨迹,以识别重复出现的失败模式。

  • 代理框架提案: 它生成针对代理框架代码的定向修改,旨在修复这些失败。

  • 提案验证: 系统通过回归测试评估候选修改,确保它们不会导致代理在先前能够执行的任务上表现更差。

例如,如果一个代理在执行任务时因文件覆盖错误而持续失败,弱点挖掘会从日志中识别出错误标签。系统会提出一个具体规则——在写入前检查文件是否存在——并将其注入系统提示中。

在Terminal-Bench-2.0(一个测试代理在软件工程和数据科学等真实世界任务上表现的基准)的测试中,Self-Harness显著提升了通过率。运行Qwen-3.5和GLM-5等模型的代理显示出从33%到60%的性能提升。

开发者今天就可以实现轻量级的Self-Harness方法,无需复杂的基础设施。设计一个循环:收集失败轨迹,将错误反馈给模型以识别系统模式,并将结果规则注入代理的代理框架代码中,用于下一次运行。

HarnessX:动态结构进化

HarnessX 是由小米达尔文代理团队(Darwin Agent Team)开发的一个框架,它本质上是一个“代理工厂“,将代理架构视为一个由九种组件组成的行为流水线,例如上下文组装、记忆管理、工具生态系统、控制流和可观测性。

HarnessX 将每个行为实现为一个独立的“处理器“,插入到代理框架的不同部分。这样,系统可以像乐高积木一样交换、添加或移除这些处理器,而不会破坏周围的代码。

HarnessX 依赖一个名为 AEGIS 的自动优化引擎。AEGIS 将代理框架的适应过程视为一个关于代理框架处理器模块的强化学习问题。

AEGIS 分析性能轨迹,并动态搜索更好的结构组合。它被设计用来防止灾难性遗忘、奖励黑客攻击以及其他在让AI系统自我优化时可能出现的问题。

HarnessX 在较小的模型上尤其有效。通过允许代理框架动态进化,开发者可以让一个轻量级的90亿参数模型发挥远超其规模的性能,从而大幅降低API token成本和推理延迟。

在复杂的GAIA基准测试中,Qwen 3.5 90亿模型最初的成功率为33%。在HarnessX通过逐轮搜索优化其工具和记忆后,同一个模型实现了47%的成功率。

达尔文代理团队已经开源了HarnessX的代码。开发者可以在GitHub上克隆仓库,设置基本配置,然后运行包含的演化器配方,以在其特定数据集上自主测试记忆和处理器组合。

自我改进的代理框架与循环工程

Self-Harness 和 HarnessX 代表了更广泛的“循环工程“趋势中非常高效的应用。开发者正在从静态提示工程转向设计自主软件装配线。

循环工程涉及设计触发器、动作和严格的验证门。它允许代理运行、检查自己的工作,并在执行周期内自我修正,无需人工干预。

Self-Harness 和 HarnessX 等框架之所以成功,正是因为它们实现了严格的回归测试和结构化搜索管道。

它们在推广结构更改之前,会针对确定性基准进行验证,从而避免了“循环最大化“的陷阱——即在无引导的循环中向问题投入大量推理计算。

AI新玩法

开发者最大的杠杆正在转向设计元系统、工具化和验证门,这些允许模型安全地迭代和自我修正。

要采用自我改进的框架,团队必须建立全面的执行轨迹日志记录和可验证的目标,以便评估代理的性能。代理需要关于失败运行的结构化数据,以识别系统性弱点并提出有意义的修改。

如果做得好,代理框架工程可以成为优化AI应用的一种非常强大的方法。而当模型能够自我完成时,工程师将能够增强自己的能力,并以AI创新的速度前进。

本文改编自 @bendee983 的 AlphaSignal Sunday 深度解析。订阅请访问 alphasignal.ai/newsletter。

相似文章

Self-Harness: 自我改进的Harness

Hacker News Top

Self-Harness 提出了一种新范式,其中基于LLM的智能体通过挖掘模型特定的弱点、提出框架修改,并通过回归测试验证这些修改,从而迭代地改进自身的运行框架,在Terminal-Bench-2.0上跨多个基础模型取得了显著的性能提升。

@NFTCPS: HarnessX这玩意儿挺有意思:一个能自己改自己的智能体架构。 以前架构怎么变,全靠人手调。新模型一出,Anthropic就把Claude Code里的规划步骤砍了,Manus半年重构了五次智能体,每次都在做减法。改什么、什么时候改,一…

X AI KOLs Timeline

HarnessX introduces a framework for self-evolving AI agent harnesses that treats the runtime harness as a first-class object, enabling automatic adaptation via trace-driven reinforcement learning. It achieves average gains of +14.5% across five benchmarks, with larger improvements for weaker models.