谁为评分者评分？自我改进大语言模型代理中评估指标与技能的协同进化

# 谁来给评分者评分？面向自我改进LLM Agent的评估指标与技能协同进化
来源：https://arxiv.org/html/2607.12790

Xing Zhang1, Guanghui Wang1, Yanwei Cui1, Ziyuan Li2, Wei Qiu2, Bing Zhu2, Peiyang He1

###### 摘要

自演化Agent系统通过创建、修订和淘汰自身技能来改进，但每一个这样的循环都依赖于一个隐藏的假设：已经存在一个可靠的评估指标。在许多实际应用中，情况并非如此。我们提出三个主张。第一，指标可以*进化*：我们的指标循环在完整的进化生命周期下搜索小型缺陷检测器的组合，经过训练使其与一个包含十个锚定参考集一致，并通过未标注输出上的共识进行正则化，并对一个它从未读取的保留锚点进行审计，从而产生一个透明、可检查的指标，而非一个不透明的裁判。第二，由于不存在要超越的指标，衡量标准是恢复一个准确指标本应实现的效果，而*Double Ratchet*，即我们的指标与生命周期管理的技能循环的协同进化，正是这样做的：在代码生成（MBPP+）、企业文本到SQL（Spider 2.0-Snow）和无参考报告生成中，它保留了由同一技能循环（由真实结果或最佳可用评分标准驱动）在保留集上实现的88-110%的提升。第三，安全性来自锚点纪律加上外部审计：移除锚点守卫会使指标崩溃为一个空洞的检测器，而移除生命周期则不会；当进化技能游戏了报告评分标准时，一个独立裁判发现了它，一个检测器修复了它，然后一个任务感知的裁判在77%的已判定对中更喜欢进化后的输出而非进化前的基线。我们认为，在任何不存在可靠自动验证器的场景中，这种预期失败的架构是合适的默认选择。

## 引言

Agent自我演化如今已成为标准范式：一个冻结的语言模型被包裹在一个循环中，该循环编写技能、检索技能、衡量其贡献，并淘汰那些有害的技能（Zhang et al.2026b (https://arxiv.org/html/2607.12790#bib.bib44); Wang et al.2024a (https://arxiv.org/html/2607.12790#bib.bib32); Shinn et al.2023 (https://arxiv.org/html/2607.12790#bib.bib30)）。这个循环简单而有效，但每一轮都需要一个昂贵的成分：决定任务尝试是成功还是失败的评估信号。在代码基准测试中，这个信号是免费的，因为单元测试存在。在部署系统中，它通常是瓶颈，而行业自身的产品也记录了这一点：Claude的托管Agent要求开发者手动为独立的评分者编写结果评分标准（Anthropic2026 (https://arxiv.org/html/2607.12790#bib.bib2)），而Codex的Record & Replay要求人类演示每个工作流一次（OpenAI2026 (https://arxiv.org/html/2607.12790#bib.bib25)）。两者都是缺乏指标的替代品，一次一个评分标准或一次一个演示。

本文自动化了这一步骤。我们直接提出这个问题：如果技能可以进化，为什么指标不行？首先澄清一点，因为它决定了每个结果应如何解读：在我们的设置中，不存在准确的指标，因此没有基线指标可以超越，正确的衡量标准是一个系统在不依赖准确指标的情况下能够恢复多少该指标本应实现的性能。达到真实驱动下的oracle水平是胜利条件，而非安慰奖。

我们的初始假设来自技能方面：Ratchet技能演化系统（Zhang et al.2026b (https://arxiv.org/html/2607.12790#bib.bib44),a (https://arxiv.org/html/2607.12790#bib.bib43)）发现，未管理的LLM编写的技能库会漂移，而生命周期管理正是使技能演化成功的关键。我们假设评估者也需要同样的纪律，并将评估者视为一个完整的生命周期下的第一类演化对象（图1 (https://arxiv.org/html/2607.12790#Sx1.F1)）。具体来说，指标是一个表达式树，构建于一个小型缺陷检测器池之上，每个检测器检查一个任务家族的一个失败类别；检测器从聚类失败中合成，在出生时进行门控，通过边际贡献评分，并在无用之时被淘汰。选择从不问Agent得分是否高：它只问指标是否与一个小型锚定参考集一致，以及是否与大量未标注集上的检测器共识一致。两个消融实验，依据指标有效性而非任务得分进行评估，定位出这两个成分（锚点守卫与检测器生命周期）中哪一个承担主要责任。

该设计基于一个关于评估的立场：我们很少知道什么是好的，但给定一个输出，我们通常能找到缺点，因此一个干净的裁决意味着没有发现已知缺点，而非认证的正确性。这种框架使得引导成为可能，而组合确定性检测器（它们与正在被评估的LLM有不同的失败方式）则抵抗了裸LLM裁判容易引发的共同盲点合谋。

一个评估产生它的循环的指标显然是一个Goodhart危害（Goodhart1984 (https://arxiv.org/html/2607.12790#bib.bib14); Gao, Schulman, and Hilton2023 (https://arxiv.org/html/2607.12790#bib.bib13)）。我们采用严格的锚点纪律：一个带有黄金参考的小型开发集提供软标签，是唯一的监督信号；一个锁定的集从未被任何循环读取，仅报告迁移；当指标和技能库共同进化时，指标只评估技能循环的训练任务，而其评估始终固定在锁定的锚点上。一个有意的危险消融，禁用了守卫，按照理论预测的方式崩溃了。

我们在三项任务领域上验证，围绕这个衡量标准。MBPP+代码生成和Spider 2.0-Snow文本到SQL有真实结果，这让我们能直接测量差距：用真实指标运行oracle循环，不用它运行共同进化循环，看看有多少提升得以保留。报告生成是预期的目标：不存在黄金指标，其评分标准分数（RAQS）是一个部分解决方案，我们仅将其视为参考信号，因此那里的保留是针对一个不完善参考来衡量的。在那里我们添加了一个真实部署中会保留的层级：一个独立、更强大的LLM裁判将最终输出与进化前基线进行成对比较。这次审计发现了一个真实的Goodhart失败（技能游戏了评分标准的标签计数器），一个添加的检测器修复了它，而审计裁判本身又暴露了第二种失败模式；结果以2×22\\times 2的表格报告了这一事件。

无验证器的自我改进是可行的，但仅在一个预期自身指标会被游戏、自身裁判会被错误校准、并能同时捕获两者的架构中。

参见图注

图1：Double Ratchet架构。指标循环（左）演化一个基于缺陷检测器的表达式；技能循环（右）演化Agent的技能库，在共同进化期间其训练由进化出的指标评分。锚点（底部）从不被训练；一个独立裁判在无参考任务上审计最终输出。

我们的贡献如下。

- •我们将评估指标进化形式化为在完整生命周期下对原子缺陷检测器组合的锚定搜索，将生命周期是关键的经验从技能演化转移到评估者。
- •我们给出了一个无泄漏的三分协议和一个结合小锚点一致性与未标注共识的选择目标；消融实验表明，锚点守卫保持了进化指标的无效性（非空洞），而检测器生命周期则贡献了效率。
- •我们将指标与技能循环共同进化，得到*Double Ratchet*，在代码、SQL和报告写作中恢复了oracle或评分标准驱动提升的88-110%，同时作为副产品产生了一个可检查的指标。
- •我们在无参考任务上记录了一个端到端的Goodhart检测和修复，使用一个独立的最终裁判作为外部审计。

## 相关工作

#### 自演化LLM Agent。
Voyager为具身任务增长技能库（Wang et al.2024a (https://arxiv.org/html/2607.12790#bib.bib32)），Reflexion和Self-Refine将失败轨迹和自我反馈转化为修订（Shinn et al.2023 (https://arxiv.org/html/2607.12790#bib.bib30); Madaan et al.2023 (https://arxiv.org/html/2607.12790#bib.bib22)），后来的系统将可复用经验积累为洞察、手册、记忆或工作流（Zhao et al.2024 (https://arxiv.org/html/2607.12790#bib.bib46); Chen et al.2024b (https://arxiv.org/html/2607.12790#bib.bib6); Park et al.2023 (https://arxiv.org/html/2607.12790#bib.bib28); Wang et al.2024c (https://arxiv.org/html/2607.12790#bib.bib35)），两项综述描绘了这一领域（Zhang et al.2025 (https://arxiv.org/html/2607.12790#bib.bib42); Wang et al.2024b (https://arxiv.org/html/2607.12790#bib.bib34)）。最近一波研究进化、分析和基准测试技能库（Wu et al.2025 (https://arxiv.org/html/2607.12790#bib.bib36); Yang et al.2026 (https://arxiv.org/html/2607.12790#bib.bib39); Xia et al.2026 (https://arxiv.org/html/2607.12790#bib.bib37); Ni et al.2026 (https://arxiv.org/html/2607.12790#bib.bib24); Wang, Ren, and Zhang2026 (https://arxiv.org/html/2607.12790#bib.bib33); Zhang et al.2026c (https://arxiv.org/html/2607.12790#bib.bib45); Li et al.2026 (https://arxiv.org/html/2607.12790#bib.bib19)），而Ratchet（Zhang et al.2026b (https://arxiv.org/html/2607.12790#bib.bib44),a (https://arxiv.org/html/2607.12790#bib.bib43)）显示未管理的库会漂移，而一个最小的生命周期（包括淘汰、有限容量和元技能指导）能恢复大量收益。自动化Agent设计在Agent代码本身中进行搜索（Hu, Lu, and Clune2025 (https://arxiv.org/html/2607.12790#bib.bib16); Elsken, Metzen, and Hutter2019 (https://arxiv.org/html/2607.12790#bib.bib11)），而DSPy、OPRO、Promptbreeder和TextGrad则针对某个指标优化提示和管道（Khattab et al.2024 (https://arxiv.org/html/2607.12790#bib.bib17); Yang et al.2024 (https://arxiv.org/html/2607.12790#bib.bib38); Fernando et al.2024 (https://arxiv.org/html/2607.12790#bib.bib12); Yuksekgonul et al.2024 (https://arxiv.org/html/2607.12790#bib.bib41)）。所有这些都假定评估信号是给定的；我们进化它，并测试生命周期纪律的哪个部分承担了评估者的安全负担。

#### 学习和搜索的目标。
CSE-Autoloss从原始操作中进化损失函数（Liu et al.2021 (https://arxiv.org/html/2607.12790#bib.bib21)），AutoML-Zero进化整个学习算法（Real et al.2020 (https://arxiv.org/html/2607.12790#bib.bib29)），Pruner-Zero进化符号修剪指标（Dong et al.2024 (https://arxiv.org/html/2607.12790#bib.bib9)）。我们的搜索空间类似，原始检查组合成一个程序，但适应度在本质上不同：损失通过固定指标上的后续准确性来评分，而评估者没有下游指标可依赖，因此我们通过其与小锚点的一致性加上共识正则化来回评分，并在锁定锚点上验证。

#### 奖励建模及其失败模式。
学习到的奖励信号以其脆弱性著称：即使在经典RL中，奖励设计也很精细（Ng, Harada, and Russell1999 (https://arxiv.org/html/2607.12790#bib.bib23)），RLHF奖励模型被它们训练的策略过度优化（Ouyang et al.2022 (https://arxiv.org/html/2607.12790#bib.bib26); Gao, Schulman, and Hilton2023 (https://arxiv.org/html/2607.12790#bib.bib13)），错误规格导致系统性的游戏（Pan, Bhatia, and Steinhardt2022 (https://arxiv.org/html/2607.12790#bib.bib27); Skalse et al.2022 (https://arxiv.org/html/2607.12790#bib.bib31); Amodei et al.2016 (https://arxiv.org/html/2607.12790#bib.bib1)），而AI反馈和自我奖励设置让模型自我评判（Bai et al.2022 (https://arxiv.org/html/2607.12790#bib.bib4); Yuan et al.2024 (https://arxiv.org/html/2607.12790#bib.bib40)）。我们的设置共享了危害，但在结构上有所不同：进化出的指标被优化以预测一个它从未训练过的锚点，而非奖励Agent，并且它对Agent的使用仅限于训练。

#### LLM作为裁判。
LLM裁判被广泛用作评估基础设施，并因其偏见而受到广泛审计（Zheng et al.2023 (https://arxiv.org/html/2607.12790#bib.bib47); Dubois et al.2023 (https://arxiv.org/html/2607.12790#bib.bib10); Gu et al.2024 (https://arxiv.org/html/2607.12790#bib.bib15); Chen et al.2024a (https://arxiv.org/html/2607.12790#bib.bib5); Zhuge et al.2024 (https://arxiv.org/html/2607.12790#bib.bib48)）。我们在三个狭窄、受保护的角色中使用LLM判断：一个教师对小型参考集产生软标签，一个检测器类包装一个裁判以检查语义不匹配，一个更强大的位置去偏裁判在所有循环之外对最终报告输出进行成对比较。指标本身保持大部分确定性，这使得其失败可诊断。

#### 基准测试。
MBPP+提供单元测试的Python任务（Austin et al.2021 (https://arxiv.org/html/2607.12790#bib.bib3); Liu et al.2023 (https://arxiv.org/html/2607.12790#bib.bib20)），延续了HumanEval的执行评分传统（Chen et al.2021 (https://arxiv.org/html/2607.12790#bib.bib7)）。Spider 2.0提供基于真实仓库的企业文本到SQL，并采用基于执行的评分（Lei et al.2025 (https://arxiv.org/html/2607.12790#bib.bib18)）。我们使用两者作为严格的锚点来认证进化出的指标，而不是作为排行榜条目，因为我们的求解器是一个没有工具或迭代的单一LLM调用。

## 问题设置

设一个任务家族包含任务tt以及一个将tt映射到输出yy的冻结求解器。一个指标MM将(t,y)(t,y)映射到\{pass,fail,abstain\}\\\{\\textsc\{pass\},\\textsc\{fail\},\\textsc\{abstain\}\\\}中的裁决。我们使用三个不相交的划分，它们扮演常规的训练/开发/测试角色，但各有一个变化。

- •train，大型且未标注：真实求解器输出在此暴露候选指标不同意或弃权的地方；在共同进化中，进化出的指标为技能循环对这些任务进行评分。
- •dev，小型且锚定（所有实验中为十个项目）：每个任务带有一个黄金参考，一个教师将候选输出与之比较以发出软通过/失败标签，这是任何循环读取的唯一监督信号。参考本身并非指标：它们只对携带它们的那十个任务进行评分，而进化出的指标必须评分那些没有参考的任务上的任意输出。
- •test，保留且锁定：最强的可用参考位于此处（MBPP+的单元测试、Spider 2.0的官方执行比较、报告的评分标准分数），但没有任何循环读取它；它只报告指标的迁移和Agent的保留得分。

开发集故意很小：稀疏锚定是现实场景，因为部署系统中的新标签以少量的演示和事件审查形式间歇到达。

### 作为缺陷检测器组合的指标

一个*op*是一个原子缺陷检测器o(t,y,c)→\{drawback,clean,abstain\}o\(t,y,c\)\\rightarrow\\\{\\textsc\{drawback\},\\textsc\{clean\},\\textsc\{abstain\}\\\}，其中cc是共享上下文。每个op精确检查一个失败类别，当没有意见时弃权。每个任务家族从少量覆盖其明显失败模式的op开始，这些op可以手动编写便宜，或者通过LLM从任务规范中起草；生命周期在此基础上增长池子。Ops分为三个成本层级。静态Ops解析并检查产物。执行Ops运行它，针对代码的沙箱或SQL的实时仓库。裁判Ops向LLM提出一个狭窄的问题。每个任务家族还有一个固定的非进化*根*，用于验证基本结构，例如代码可解析或报告有标题，并缓存所有其他ops读取的已解析产物。

一个*指标表达式*使用逻辑运算符组合op的裁决。写v\(e