流程感知自进化: 协同进化模型权重、流程与任务解决方案

arXiv cs.AI 论文

摘要

HASE 是一个强化学习框架,它在统一的智能体过程中协同进化模型权重、任务解决方案以及流程组件(引导与评估),使单个8B参数的模型在文本分类和阿尔法因子挖掘任务上能够匹配更大系统的性能。

arXiv:2607.03935v1 公告类型: 新 摘要: 自进化框架通常优化任务解决方案,同时将周围的流程视为固定不变。我们提出了流程感知自进化(Harness-Aware Self-Evolving, HASE),这是一个智能体强化学习框架,其中单个模型可以在多轮动作空间中生成任务解决方案或编辑选定的流程组件。HASE 使得单个 Qwen3-8B 模型能够匹配使用 Claude Code 作为流程提议者的 GPT-OSS-120B 模型的文本分类性能。在阿尔法因子挖掘中,HASE 超过了所报告的 GPT-OSS-120B 基线。HASE 还能修复不完善的评估组件,并在圆填充算法发现中收敛到最先进的性能。这些结果表明,HASE 通过一个统一的智能体过程改进了流程和解决方案。
查看原文
查看缓存全文

缓存时间: 2026/07/07 04:35

# 共同演化模型权重、支撑件与任务解决方案  
来源:https://arxiv.org/html/2607.03935  

Haochen Luo¹,³,Yi Huang²,Sichun Luo¹,³,Fengyuan Liu¹,³,Lei Li¹,³,Zefa Hu²,Junlan Feng²,Qi Liu¹,³  
¹香港大学计算与数据科学学院  
²中国移动九天研究  
³Grace Investment Machine  
haochen\.luo@outlook\.com, huangyi@cmjt\.chinamobile\.com, liuqi@cs\.hku\.hk  

###### 摘要  
自演化框架通常优化任务解决方案,同时将周围的支撑件视为固定不变。我们提出支撑件感知自演化(Harness-Aware Self-Evolving, HASE),这是一种智能体强化学习框架,其中单个模型能够在多轮动作空间中生成任务解决方案或编辑选定的支撑件组件。HASE使得单个Qwen3-8B模型能够匹配使用Claude Code作为支撑件提议者的GPT-OSS-120B模型在文本分类上的性能。在alpha因子挖掘中,HASE超越了已报道的GPT-OSS-120B基线。HASE还能修复不完善的评估组件,并在圆填充算法发现中收敛到最先进性能。这些结果表明,HASE通过一个统一的智能体过程同时改进了支撑件和解决方案。  

---

# 支撑件感知自演化:共同演化模型权重、支撑件与任务解决方案  

Haochen Luo¹,³,Yi Huang²,Sichun Luo¹,³,Fengyuan Liu¹,³,Lei Li¹,³,Zefa Hu²,Junlan Feng²,Qi Liu¹,³  
¹香港大学计算与数据科学学院  
²中国移动九天研究  
³Grace Investment Machine  
haochen\.luo@outlook\.com, huangyi@cmjt\.chinamobile\.com, liuqi@cs\.hku\.hk  

## 1 引言  

LLMs使得一类不断增长的自演化系统得以实现,这些系统迭代地生成、评估并改进代码或其他结构化产物。大多数此类系统(Novikov et al., 2025; Wang et al., 2026; Yuksekgonul et al., 2026)专注于对象级解决方案,同时假设周围的支撑件是固定的。**支撑件**指的是中介模型与任务交互的组件,包括提示词、记忆、上下文检索、工具接口、状态管理和评估器(Lee et al., 2026)。该支撑件通常与模型本身同等重要:它决定了模型观察到什么、哪些动作可用以及候选解决方案如何评分。  

固定支撑件的假设存在两个局限。首先,人工编写的评估器可能不完整或与外部环境不一致。在分数驱动的优化下,模型可能利用这些漏洞而非解决预期任务。其次,即使评估器正确,引导支撑件也可能提供较差的搜索先验:提示词可能遗漏有用结构,记忆可能过于冗长或无关,检索策略可能隐藏推理所需的示例。在这两种情况下,将支撑件视为不可变会阻碍智能体改进其运行的计算环境。  

我们提出支撑件感知自演化(HASE),一种赋予单个模型统一动作空间以同时进行解决方案生成和选定支撑件编辑的框架。HASE区分两类支撑件组件:**引导组件**(如提示词、记忆格式化和上下文检索)改进搜索;**评估组件**(如验证器和评分器)定义解决方案有效性和任务指标。HASE可以自由改进引导组件,而评估器编辑则始终锚定于真实世界反馈。  

我们的贡献有三点。第一,我们引入了一个统一的支撑件感知自演化框架。同一模型共同演化其策略、任务解决方案和选定的支撑件组件,无需单独的强大编码提议者。第二,我们在在线文本分类、alpha因子挖掘和几何算法发现上评估了HASE。Qwen3-8B(Yang et al., 2025)模型达到了与基于更大模型的系统相当的性能。第三,我们研究了在评估器损坏情况下的算法发现。HASE修复了评估器并达到了最先进性能。这些结果确立了HASE作为一种有效的自演化框架,能够共同改进支撑件、解决方案和模型。  

## 2 相关工作  

### 2.1 自演化算法  

自演化算法通过重复提议和评估来改进对象级产物。这些产物包括代码、数学构造、启发式规则和任务解决方案。此类文献大多保持模型冻结,仅改变搜索流程。像FunSearch、AlphaEvolve式程序搜索、OpenEvolve、ShinkaEvolve以及相关启发式演化方法等系统,将LLMs用作突变或提议引擎,依赖外部评估器来选择更好的产物(Romera-Paredes et al., 2024; Novikov et al., 2025; Sharma, 2025; Lange et al., 2026; Liu et al., 2024)。最近的基线研究表明,在某些确定性评估器任务上,随机或简单代码采样可以匹配复杂的演化。这一结果突出了搜索空间和评估器设计的重要性(Gidioni et al., 2025)。  

第二条研究线在发现过程中调整模型分布或搜索流程。这些工作使用测试时RL将开放模型转向固定任务支撑件下的高分样本(Wang et al., 2026; Yuksekgonul et al., 2026)。它们更接近HASE,因为模型在搜索过程中会变化。然而,它们仍然在给定支撑件下优化对象级产物。  

第三条线包括自修改编码智能体和编码环境智能体,允许智能体修改脚手架或与工作空间交互,但改进仍受限于周围的评估器和任务支撑件(Zhang et al., 2026; Yang et al., 2024; Yao et al., 2023; Shinn et al., 2023; Wang et al., 2023)。HASE的动机源于这些设置共同存在的差距:随机采样、进化选择和测试时RL通常将支撑件视为固定;提示词、上下文管理策略、工具接口、评估器和验证逻辑被假定为正确且不可变。HASE则将选定的支撑件组件纳入智能体动作空间,同时保持引导支撑件优化与预言门控评估器修复之间的严格分离。  

### 2.2 支撑件工程  

模型性能不仅依赖于模型权重,还依赖于支撑件。支撑件控制着存储、检索、呈现和验证的信息。这一观点关联到工具使用、API使用、记忆、智能体-环境、多智能体和提示编程系统(Schick et al., 2023; Qin et al., 2024; Patil et al., 2024; Packer et al., 2024; Park et al., 2023; Yao et al., 2023; Shinn et al., 2023; Wang et al., 2023; Wu et al., 2023; Khattab et al., 2024)。**Meta-Harness**是与我们最接近的先前工作。它通过外循环编码智能体提议者来优化支撑件代码,该提议者检查源代码、分数和先前候选的执行轨迹(Lee et al., 2026)。在在线文本分类中,Meta-Harness发现了一种支撑件,在零样本、少样本、ACE(Zhang et al., 2025)和MCE(Ye et al., 2026)基线上提高了平均准确率,同时使用更少的上下文token。  

HASE与Meta-Harness在两个方面有显著不同。第一,Meta-Harness专注于引导支撑件组件(如记忆和上下文构建),而HASE还研究评估支撑件修复。第二,Meta-Harness使用外部前沿LLM(如Claude Code,Anthropic, 2025)来搜索另一个模型使用的支撑件。HASE则将支撑件编辑和任务求解放在统一动作空间内,不依赖外部提议者。我们还在Meta-Harness使用的在线文本分类任务上评估了HASE。经过HASE训练的8B模型在此任务上达到了可比性能;详细结果见第4节。  

## 3 HASE方法论  

参考图注 图1:HASE方法的整体流程及与其他方法的比较。HASE不同于流水线风格的支撑件搜索:没有外部强大的编码提议者。同一Qwen3-8B策略提出任务解决方案和支撑件编辑;一个确定性的阶段级控制器仅验证、审查并提交该策略发出的补丁。  

如图1所示,HASE共同演化模型权重、支撑件和任务解决方案。模型在相同的智能体动作空间中可以生成解决方案或编辑支撑件。HASE使用阶段级审查选择有用的支撑件编辑并防止奖励黑客。接下来我们定义可编辑的支撑件组件,描述统一动作空间,并介绍训练循环。  

### 3.1 两类支撑件  

在本文中,我们根据组件目的将支撑件演化分为两类:  

- • **评估组件**是系统允许编辑的局部评估器。我们使用**局部评估器**指代支撑件内可修改的评估器,它提供密集的训练时反馈并产生**代理分数**,该分数可能不准确。相比之下,**真实世界评估器**不可编辑,也不属于可修改的支撑件。它是外部环境中不可变的一部分,定义了任务有效性(如排行榜),其反馈是**预言分数**,保证准确。  
- • **引导组件**包括提示词、记忆格式化、检索脚本和上下文选择。这些组件为模型提供有用的指令和上下文,在不改变任务正确性的情况下改进搜索。  

并非每个任务都需要评估支撑件演化。有些评估器已经简单且可靠,如文本分类中的精确标签匹配。其他评估器(如金融回测流水线)过于复杂或风险过高,无法自动修复。在这些情况下,HASE仅编辑引导组件,如提示词、检索、记忆和上下文格式化。  

真实世界评估器是可编辑局部评估器演化的锚点。仅当HASE被允许修改局部评估器时才使用真实世界反馈。这在任务级别是可选的,因为某些任务保持其评估器固定。一旦局部评估器可编辑,真实世界反馈就变得必要。没有这个锚点,模型可能通过减弱局部评估器而非生成更好解决方案来增加奖励。HASE在训练过程中使用局部评估器作为密集奖励,仅在阶段边界处查询真实世界评估器。当代理分数与预言分数不一致时,HASE将提交的解决方案添加到不匹配集合M中,作为未来评估器修复的新测试案例。  

### 3.2 统一动作空间  

HASE通过多轮动作空间暴露解决方案生成和支撑件修改。在每一步,模型可以提交对象级解决方案,或使用沙箱工具检查和修改可编辑支撑件。沙箱命令包括最少的读写操作,如`ls`、`cat`、`grep`、`replace`和`overwrite`。`done`命令让模型指示交互结束。  

模型没有收到单独的硬编码规划器来决定是求解任务还是编辑支撑件。相反,当前上下文决定了有用的动作。例如,在alpha挖掘中,模型被要求定义`compute_alpha(data)`,而可变工作空间暴露了`prompt.txt`作为策略指南,以及`pool_viewer.py`作为上下文工程产物。模型可以直接提交alpha因子,或者检查并覆盖这些文件以改进未来上下文,然后再提交。类似地,在文本分类中,模型可以预测标签,或在当前上下文不足时修改记忆和检索工具。  

### 3.3 HASE算法:一种智能体强化学习视角  

如算法1所述,HASE维护一个持久支撑件$h$、模型策略$\pi_\theta$、阶段局部候选池$C_p$,以及(仅当评估支撑件演化启用时)一个不匹配集合$M$。每个阶段包含多个GRPO轮次。在一个轮次内,模型展开多轮轨迹,这些轨迹可以检查文件、临时编辑支撑件,并最终提交解决方案。展开局部的支撑件编辑仅影响产生它们的轨迹。持久支撑件仅在阶段级审查后更新。  

**奖励设计**:HASE不单独奖励与支撑件相关的动作。仅检查的探索和随机修改不获得直接奖励或惩罚。这避免了奖励表面上的文件访问,同时保留了有用的探索。轨迹必须最终提交解决方案,其奖励取决于解决方案质量。对于引导支撑件编辑,信用基于**概念验证(PoC)**:如果模型编辑了支撑件,则必须使用编辑后的支撑件生成解决方案。整个轨迹获得改进后的任务奖励,该编辑成为阶段审查的候选。对于评估支撑件编辑,仅当代理分数与预言分数不一致时才给予奖励。奖励与不匹配集合一致性的增加成正比。如果未检测到不匹配,则评估器修改不会获得奖励。  

**算法1 HASE算法**  

1: 初始策略 $\pi_\theta$,初始支撑件 $h_0$,局部评估器 $E_{\mathrm{loc}}$,可选真实世界评估器 $E_{\mathrm{real}}$,阶段数 $P$,GRPO轮次数 $N_{\mathrm{epoch}}$  
2: 初始化持久支撑件 $h \leftarrow h_0$  
3: **如果**任务允许评估支撑件演化 **则**  
4:   初始化不匹配集合 $M \leftarrow \emptyset$  
5: **结束如果**  
6: **对于**阶段 $p = 1, \ldots, P$ **执行**  
7:   初始化阶段候选池 $C_p \leftarrow \emptyset$  
8:   **对于**GRPO轮次 $e = 1, \ldots, N_{\mathrm{epoch}}$ **执行**  
9:     展开轨迹 $\tau \sim \pi_\theta(\cdot \mid x, h)$ 包含解决方案和支撑件编辑动作  
10:    使用局部评估器对提交的解决方案评分:$r_{\mathrm{task}} \leftarrow E_{\mathrm{loc}}(\tau, h)$  
11:    分配轨迹奖励 $r(\tau)$  
12:    将来自 $\tau$ 的可解析、正PoC引导编辑添加到 $C_p$  
13:    使用 $r(\tau)$ 通过GRPO更新 $\pi_\theta$  
14:   **结束对于**

相似文章

HaMo:框架与模型协同的长程持续学习

Hugging Face Daily Papers

HaMo 是一个框架与模型协同(Harness-Model)的框架,将策略级经验卡片的快速检索与渐进式参数化适应相结合,以提升长程 Web 智能体的记忆保持与跨任务执行能力,在领域偏移场景下优于仅依赖框架或仅依赖模型的方法。

Self-Harness: 自我改进的Harness

Hacker News Top

Self-Harness 提出了一种新范式,其中基于LLM的智能体通过挖掘模型特定的弱点、提出框架修改,并通过回归测试验证这些修改,从而迭代地改进自身的运行框架,在Terminal-Bench-2.0上跨多个基础模型取得了显著的性能提升。

面向长时程终端Agent的Harness自进化

arXiv cs.AI

论文提出了由腾讯与多所高校联合研发的RiseHarness框架,该框架在保持模型权重不变的前提下,通过迭代优化智能体的Harness来处理长时程终端任务,分析成功与失败的执行记录,逐步整合更优的执行机制。

HarnessX:可组合、自适应且可演进的智能体夹具工坊

Hugging Face Daily Papers

HarnessX 是一个为可组合、自适应且可演进的人工智能智能体夹具打造的工坊,它利用组合原语和轨迹驱动演化来提升智能体性能。在五项基准测试中,它平均提升了 +14.5%(最高达 +44.0%),表明运行时接口演化是模型规模扩展之外的一个互补杠杆。