GAUGE：在面向任务代理的用户模拟评估中不应信任LLM-as-a-Judge的时机

# GAUGE：在任务导向智能体的用户模拟评估中，何时不应信任“LLM即裁判”
来源：https://arxiv.org/html/2609.12191  
作者：Thanh Tran, Kai Wei  
所属机构：Amazon  
邮箱：\{bodhwani, tdt, kaiwe\}@amazon.com  

###### 摘要  
比较和选择任务导向型LLM智能体日益依赖一种低成本的离线评估关卡：基于人物角色的LLM用户模拟器与每个候选智能体对话，一个*LLM即裁判*对对话记录进行评分，得分较高的智能体得以晋升。我们提出了GAUGE，一个可复用的离线评估协议，用于衡量该关卡的*排序*是否与一个基于真实世界的*可验证奖励*相匹配。该评估在τ²-bench和SimulatorArena基准测试上对来自六家供应商的25个智能体进行了测试，区分了发布实践中常混淆的两种评估有效性：*排序有效性*与*构念有效性*。

首先，我们发现了一个**满意度-成功率差距**：满意度本质上不包含关于任务成功的信息。经我们盲审小组评定为*满意*的对话，其实际成功率与之脱钩，其中57.5%的对话未能完成客户的任务。这一模式在五种评分人群、两个基准测试以及我们评估的每个主观维度上都保持一致。

其次，尽管该关卡在广泛的能力跨度上排序是稳健的，但在**近似等强的智能体**中，它会失去分辨能力：对于*接近*的配对，这种*决策不一致率*从奖励差异较大时的<<1%跃升至31%。因此，该关卡虽*经过人类验证，但锚点却有误*。作为补救措施，我们提出一种*先校准，再信任*的流程，其中无需裁判的完成位是检测*截断*回归的零成本预警信号。

表1：与先前评估工作的定位对比。只有GAUGE测试了模拟器+裁判*关卡*是否能像可验证的非LLM奖励那样对智能体进行排序，并量化了满意度-成功率差距。✓ 完全满足标准；∼ 部分满足；✗ 不满足。

## 1 引言
为客服、工具使用助手和教学等场景构建智能型任务导向LLM智能体的开发者与研究人员，必须在三种约束条件下决定哪种方案更好：没有能捕捉真实用户体验的干净留出测试集；对每个候选配置进行受控人类研究速度慢得令人望而却步；且配置空间（模型、提示词、策略、工具）变化频繁。该领域的实际答案是使用一种低成本的离线关卡：让每个候选智能体与基于人物角色的LLM用户模拟器交互，用LLM裁判对对话记录评分，然后晋升得分更高的变体。该关卡在持续集成（CI）中运行，每次对话成本仅几美分，无需带标签的生产数据，其基于一个团队几乎从未衡量过的假设：即这种组合式模拟器加裁判关卡能像基于真实世界的评估那样对变体进行排序。我们审计了实际部署中的该关卡，并为审计提供了一个可直接替换的零成本缓解方案。

LLM裁判存在系统性偏差，包括自我偏好和位置偏差，这是已知的（Panickssery et al., 2024 (https://arxiv.org/html/2609.12191#bib.bib16); Wang et al., 2024 (https://arxiv.org/html/2609.12191#bib.bib15)）。但尚未量化的是，在发布决策单元上，相对于一个可验证奖励，这些偏差的幅度：在盲审人类小组中，误接受率高达57.5%，这种差距在五种评分人群中持续存在，并改变了最终的智能体选择决策。

我们提出**GAUGE**（Grounded Audit of User-simulator-and-judge Gate Evaluation，基于真实世界的用户模拟器和裁判关卡评估审计），一个可复用的、完全离线的协议，它区分了发布实践中常混淆的两种有效性（表1 (https://arxiv.org/html/2609.12191#S0.T1)）。该关卡具有*排序有效性*（它像可验证奖励那样对智能体排序），并且针对人类*满意度*具有*构念有效性*；然而，满意度并不等同于成功（即*满意度-成功率差距*）：在我们盲审人类小组评定为*满意*（≥5/7分）的对话中，有57.5%未能完成客户的任务，这个差距误导了LLM裁判和人类。一个关卡可能经过人类验证，但其锚点却可能是错误的。

参见图注 图1：GAUGE衡量LLM即裁判和用户模拟器评估关卡是否像一个基于真实世界的可验证奖励那样对智能体进行排序。左至右：一个智能体与一个角色模拟器在某个基底上对话，四个评估器对每份对话记录进行评分：三个主观满意度信号（LLM即裁判关卡、LLM人类代理和一个盲审三人人类小组）和一个客观非LLM奖励。综合所有25个智能体，关卡的智能体*排序*与奖励排序匹配（ρ=0.94），然而满意度与成功却脱钩了。

尽管排序有效，满意度锚点作为发布信号仍然具有误导性，原因有三。第一，排序仅在能力主导的区域成立：在真实发布决策所比较的*近似等强*智能体中，对于接近的配对，该关卡有31%的概率晋升奖励较低的智能体（*决策不一致率*；§4.2 (https://arxiv.org/html/2609.12191#S4.SS2)），而奖励差异较大时此率远低于1%。第二，团队会针对关卡进行优化，而不仅仅是阅读它，针对满意度锚点进行调优会提升一个已知在被优化后会偏离客观指标的度量（Strathern, 1997 (https://arxiv.org/html/2609.12191#bib.bib31); Skalse et al., 2022 (https://arxiv.org/html/2609.12191#bib.bib33)）。第三，基于满意度的接受/拒绝阈值，会接纳失败率达48-60%的智能体（§4.1 (https://arxiv.org/html/2609.12191#S4.SS1)）。因此，这个锚点恰好主导了关卡本应做出的决策：晋升近似等强的候选者、作为优化目标，以及设定绝对的接受/拒绝门槛。

用户模拟器是我们审计的关卡的一个组成部分：所有核心主张都锚定于与模拟器无关的可验证奖励和人类小组。GAUGE作为*定期校准*（即*先校准，再信任*流程）运作，而非每个决策都使用的关卡：在一次代表性的基准测试上运行一次可验证审计，以了解关卡的可信操作区域，之后在CI中在该区域内使用廉价的关卡。只要能获得离线可验证奖励，该方法就适用，此处使用了τ²-bench的神谕：数据库状态和动作检查，以及SimulatorArena的人工评分正确性。

我们的贡献如下：(1) **GAUGE**，一个用于验证模拟器加裁判评估的可复用协议。我们提出了首个协议，在发布决策单元上，以规模化的方式（25个智能体，6家供应商，4个裁判，2个基底，约3700份对话记录；§3 (https://arxiv.org/html/2609.12191#S3.SS0.SSS0.Px1)），验证模拟器加裁判评估关卡相对于可验证的非LLM奖励的有效性。(2) **满意度-成功率差距**。我们证明满意度本质上不包含关于任务成功的信息：57.5%的*满意*对话未能完成任务（ρ=−0.147），这一差距在五种评分人群和两个基底上成立（§4.1 (https://arxiv.org/html/2609.12191#S4.SS1)）。(3) **区分排序有效性与构念有效性**。我们在六家供应商的阶梯上区分了*排序*有效性和*构念*有效性：排序是稳健的（ρ=0.94），但在近似等强的智能体中会失去分辨力，此时该关卡有31%的概率晋升奖励较低的近似配对智能体，我们还分离出了同族裁判的自我偏好（+0.75/7分；§4.2 (https://arxiv.org/html/2609.12191#S4.SS2), §4.3 (https://arxiv.org/html/2609.12191#S4.SS3)）。(4) **先校准，再信任方案**。我们证明，无需裁判的完成位是检测截断回归的零成本预警信号（ρ=0.87 vs. 0.80，对比故障与正常；§4.5 (https://arxiv.org/html/2609.12191#S4.SS5)），并报告了一个负面结果：样本外重新校准不具迁移性（§4.6 (https://arxiv.org/html/2609.12191#S4.SS6)）。

**主要发现：**
• 主观认可在所有维度上都与任务成功脱钩，因此评估关卡可能经过人类验证，但其锚点却偏离了目标结果。
• 高的总体排序有效性与近似等强候选者的不可靠分辨力并存，而发布决策恰恰依赖于这些比较。
• 评估器的可靠性取决于证据获取能力，而非模型能力：基于结果的判断在基于对话记录的满意度失败的地方能够成功。
• 该关卡仅在有界的操作区域内有效，需要在配置变更时重新审计，而非按固定时间表进行。

## 2 相关工作
#### 用户模拟器的可靠性
模拟用户长期以来一直用于评估对话智能体，从基于满意度的模拟（Sun et al., 2021 (https://arxiv.org/html/2609.12191#bib.bib20)）到基于LLM的模拟器（Davidson et al., 2023 (https://arxiv.org/html/2609.12191#bib.bib21); Sekulic et al., 2024 (https://arxiv.org/html/2609.12191#bib.bib22)）以及“智能体评估智能体”（Zhuge et al., 2025 (https://arxiv.org/html/2609.12191#bib.bib23)）。SimulatorArena（Dou et al., 2025 (https://arxiv.org/html/2609.12191#bib.bib6)）和Lost-in-Simulation（Seshadri et al., 2026 (https://arxiv.org/html/2609.12191#bib.bib10)）通过绝对评分相关性或单智能体可靠性来测试作为人类代理的LLM用户模拟器。**差异点：** 我们审计了组合关卡在发布决策单元上相对于非LLM可验证奖励的智能体排序有效性，并表明其优化的满意度信号与任务成功脱钩。

#### 智能体与客服智能体基准测试
工具使用智能体正被近期基准测试所评估（Zhou et al., 2024 (https://arxiv.org/html/2609.12191#bib.bib24); Qin et al., 2024 (https://arxiv.org/html/2609.12191#bib.bib26); Liu et al., 2024 (https://arxiv.org/html/2609.12191#bib.bib25)）；ECom-Bench（Wang et al., 2025 (https://arxiv.org/html/2609.12191#bib.bib7)）报告了角色模拟器的通过率，而τ-bench（Yao et al., 2025 (https://arxiv.org/html/2609.12191#bib.bib5)）及其后续版本τ²-bench（Barres et al., 2026 (https://arxiv.org/html/2609.12191#bib.bib4)）提供了可验证的基底。**差异点：** 我们测试了此类通过率是否能像基于真实世界的奖励那样对智能体排序，并揭示了“满意但失败”的反转现象。

#### LLM即裁判与人类的一致性校准
大量文献验证了LLM裁判与人类偏好和满意度的一致性（Zheng et al., 2023 (https://arxiv.org/html/2609.12191#bib.bib13); Liu et al., 2023 (https://arxiv.org/html/2609.12191#bib.bib14); Gu et al., 2024 (https://arxiv.org/html/2609.12191#bib.bib18)），记录了裁判偏差（位置偏差（Wang et al., 2024 (https://arxiv.org/html/2609.12191#bib.bib15)）、自我偏好（Panickssery et al., 2024 (https://arxiv.org/html/2609.12191#bib.bib16)）、不一致性（Stureborg et al., 2024 (https://arxiv.org/html/2609.12191#bib.bib17)）），并对LLM裁判和奖励模型进行了基准测试（Tan et al., 2025 (https://arxiv.org/html/2609.12191#bib.bib19); Lambert et al., 2025 (https://arxiv.org/html/2609.12191#bib.bib27)）。另一条互补的研究路线校准模型置信度，以判断何时信任LLM输出，何时应诉诸人类（Bodhwani et al., 2025a (https://arxiv.org/html/2609.12191#bib.bib1); Jung et al., 2025 (https://arxiv.org/html/2609.12191#bib.bib12)）。**差异点：** 对于客服智能体，这个锚点是不匹配的：人类满意度与任务成功脱钩，因此一个裁判可能“经过人类验证”却错误地对智能体排序。近期的研究发现模拟器过度合作或排序分歧（Mind-the-Sim2Real（Zhou et al., 2026 (https://arxiv.org/html/2609.12191#bib.bib11)），SimulatorArena（Dou et al., 2025 (https://arxiv.org/html/2609.12191#bib.bib6)）），而我们表明这种脱钩同样会误导人类。

#### 测量有效性与代理博弈
我们的框架借鉴了构念有效性（Cronbach and Meehl, 1955 (https://arxiv.org/html/2609.12191#bib.bib28)）及其在机器学习中的转化（Jacobs and Wallach, 2021 (https://arxiv.org/html/2609.12191#bib.bib29); Bowman and Dahl, 2021 (https://arxiv.org/html/2609.12191#bib.bib30)）：一个度量可能很好地对系统排序，却未能衡量其所声称的构念；而一个被优化的代理指标会偏离目标（古德哈特定律（Strathern, 1997 (https://arxiv.org/html/2609.12191#bib.bib31)），奖励黑客（Amodei et al., 2016 (https://arxiv.org/html/2609.12191#bib.bib32); Skalse et al., 2022 (https://arxiv.org/html/2609.12191#bib.bib33)））。**差异点：** 我们为发布关卡提供了一个有测量意义的实例，将受控扰动的仪器验证（Ribeiro et al., 2020 (https://arxiv.org/html/2609.12191#bib.bib48); Adebayo et al., 2018 (https://arxiv.org/html/2609.12191#bib.bib49)）改编到我们仅标记的退化集合中（§4.5 (https://arxiv.org/html/2609.12191#S4.SS5), 附录C (https://arxiv.org/html/2609.12191#A3)）。与ChatBench（Chang et al., 2025 (https://arxiv.org/html/2609.12191#bib.bib8)）不同，后者通过微调来弥合离线与交互的差距，GAUGE无需微调。

## 3 方法
图1 (https://arxiv.org/html/2609.12191#S1.F1)展示了端到端的审计过程：一个智能体与一个角色模拟器在某个基底上对话，四个评估器对每份对话记录进行评分，其中一个是可验证的、非LLM的奖励。

参见图注 图2：不同评分者的满意度与可验证任务成功度对比。(a) 每个评分者评定为*满意*的对话中，最终任务失败的比例，在τ²人类小组和独立的SimulatorArena基底上。(b) 按满意度评分（整数分档，n≥5；人类评分±1 SE阴影表示）划分的经验P(success)：对于任何评分者，成功率都不随满意度增加而上升。

#### 问题表述
令 A 为候选智能体集合，P 为人设分层，D 为领域集合。对于智能体 a，人设 p，领域 d，模拟器和智能体产生一份对话记录 τ_{a,p,d}，其中包含来自非LLM神谕的、每份对话记录的可验证正确性标签 r(τ) ∈ \{0,1\}。另外，三个主观信号也按满意度量表对对话记录评分：一个LLM裁判*关卡*，一个LLM*人类代理*，和一个*人类小组*；将任何这样的信号记为 s(τ)。在发布决策单元（即智能体 a；我们按 p, d 聚合，因为单个单元格的分数噪音太大无法行动），我们定义智能体级别的关卡 G(a) = E_{p,d}[gate(τ)] 和可验证奖励 R(a) = E_{p,d}[r(τ)] ∈ [0,1]，以及类似的 S_proxy(a), S_hum(a)。GAUGE 衡量两个量：A 上的*排序有效性* ρ(G,R) 衡量关卡是否像可验证奖励那样对智能体排序。*构念差距*（等同于*满意度-成功率差距*）是被信号评定为满意（s(τ) 较高，在7点量表中≥5，或在10点量表中≥8）的对话记录中，任务失败（r(τ)=0）的比率。关键在于，一个关卡可能经过人类验证（ρ(S_hum, G) 高，裁判追踪人类满意度）但却锚点错误（ρ(S_hum, R) 低），因为满意度本身并不追踪成功。

#### 基底与真实标签
我们的主要基准测试（基底）是 τ²-bench（Barres et al., 2026 (https://arxiv.org/html/2609.12191#bib.bib4)）的零售和航空领域，其可验证奖励是一个非LLM神谕，在航空领域完全确定（数据库状态和通信检查），在零售领域主要是确定的（一个确定的数据库检查门控一个LLM评分的自然语言断言；附录K (https://arxiv.org/html/2609.12191#A11)）；为了可复制性，我们加入了 SimulatorArena（Dou et al., 2025 (https://arxiv.org/html/2609.12191#bib.bib6)）的数学辅导领域，包含人类满意度评分和人工评分的正确性。各基底的统计数据见附录J (https://arxiv.org/html/2609.12191#A10)。