捉住五分之一：LLM作为判断器在生产环境多轮交易代理中的盲点

# LLM作为评判者在生产环境多轮交易智能体中的盲区
来源：https://arxiv.org/html/2606.10315
Sawyer ZhangAlexander WangSophie Lei Lumivate \(Lumi\)

\(2026年6月8日\)

###### 摘要

以LLM作为评判者已成为评估对话智能体的默认工具，但其可靠性报告几乎总是基于*与人类评分的*一致性*，而非*对真实缺陷的检出率*。我们研究了一个已部署的多轮餐饮订购智能体，以详尽的人类对话审查作为真实基准，测量其内置LLM评判者实际捕获了多少真实质量问题。在三个审查批次中，该评判者只发现了人类确认的系统性问题中远不足四分之一——批次一中9个模式中只捕获了2个（\(22%22\\%\)），而另一个批次中其运营门槛对100轮对话标记了*零*次失败，但人类审查却确认了23个不同缺陷和7个新的跨维度模式。我们贡献了一个*盲区分类法*，表明这种失败是有结构的而非随机的：评判者能够可靠地捕获*回合局部*问题（编造的统计数字、错误的语言），但系统性地遗漏了*跨回合状态*问题（确认网关锁定、购物车幻觉、升级锁定、陈旧指代）。我们追溯了一个具体机制：评判者的评分标准仅暴露三个粗粒度轴（意图、品牌语调、个性化），没有针对行为维度（状态跟踪、护栏、恢复）的类别，而大多数确认缺陷正集中于此。失败在于路由而非感知：在整个语料库中，114个原始评判注释描述为确认网关或购物车状态缺陷的回合中，有113个被评分为了“品牌语调”，且没有任何一个达到运营失败——发货网关仅与挂起和硬断言相连，而非与评分标准相连——因此\(0%0\\%\)是路由和连接失败，而非盲目。对流行率估计的影响是显著的：当网关的明显缺陷率为零时，Rogan–Gladen校正退化——无任何明显流行率信号能够恢复真实率，这是一个比任何固定乘数都更强的论断——而当网关报告非零率时，在实测的灵敏度下同一估计量暗示着\(3–6×6×\)（数量级）的低估。我们主张，对于生产环境的多轮智能体，自动评判只是一个回归基线，而非人类审查的替代。

## 引言

以LLM作为评判者[Zheng et al., 2023 (https://arxiv.org/html/2606.10315#bib.bib17); Liu et al., 2023 (https://arxiv.org/html/2606.10315#bib.bib9)]如今已成为评估开放性和智能体系统的标准方法：它可扩展、成本低，且在单轮偏好任务上与人类评分具有良好相关性。大量文献研究了其*偏差*——位置、冗长、自我偏好[Ye et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib16); Shi et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib13); Wu et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib14)]——以及其与人类的*一致性*[Gu et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib3); Han et al., 2025 (https://arxiv.org/html/2606.10315#bib.bib5)]。但对于一个在软件交付中更重要的特性，我们知之甚少：当一个LLM评判者作为自动化质量网关运行在生产智能体的实时流量上时，它实际捕获了多少真实问题？

我们针对一个具体且已部署的系统来回答这个问题：一个面向东南亚餐饮品牌的、按租户划分的多轮订购智能体，在随机化的多轮语料库上进行评估，并以详尽的人类对话审查作为真实基准。我们的发现令人不安，并且我们认为，在形状上（而非精确数值上）具有可推广性：

- •**低召回率，而不仅仅是低一致性**。内置评判者捕获了远低于人类确认的系统性问题四分之一。在一个批次中，它自动捕获了人类识别的9个模式中的2个（\(22%22\\%\)）；在另一个100轮的批次中，它标记了*零*个回合为失败，而人类审查确认了23个不同的分类账缺陷，并新增了7个模式。
- •**盲区是有结构的**。召回率随着问题“跨回合”程度的增加而单调递减。回合局部、表面可检查的问题（编造的统计数字、错误语言回复）被捕获；而需要推理对话历程的问题（确认网关状态、购物车内容、升级标志、最后提议指代）则被遗漏。
- •**一个机制，而非谜团**。评判者自身的评分标准有三个轴（意图/品牌语调/个性化）。它*没有*用于状态跟踪、护栏或恢复的类别——而这些维度包含了大多数确认的缺陷——因此确认网关违规被记为“品牌语调”或直接漏过。

我们在§2 (https://arxiv.org/html/2606.10315#S2)中将其定位并区别于两个最接近的研究方向——那些已经报告低评判者召回率的单轮错误检测研究[Kamoi et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib7)]，以及唯一一个评判*智能体评判者*的基准[Lù et al., 2025 (https://arxiv.org/html/2606.10315#bib.bib10)]。

## 相关工作

#### LLM作为评判者：偏差与一致性。

经典形式[Zheng et al., 2023 (https://arxiv.org/html/2606.10315#bib.bib17)]及CoT变体[Liu et al., 2023 (https://arxiv.org/html/2606.10315#bib.bib9)]将可靠性报告为与人类偏好的相关性/一致性。丰富的后续研究量化了系统性*偏差*[Ye et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib16); Shi et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib13); Wu et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib14)]，并用更严格的统计方法重新审视一致性[Han et al., 2025 (https://arxiv.org/html/2606.10315#bib.bib5); Gu et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib3)]。这一研究方向回答的是“评判者的排名是否像人类？”——而非“评判者遗漏了什么？”。

#### 评判者召回率/假阴性。

在精神上最接近的，Kamoi et al. (2024 (https://arxiv.org/html/2606.10315#bib.bib7))表明，GPT-4/Claude检测LLM响应中真实错误的*召回率极低*，远低于人类，且自一致性无助于改善；Jain et al. (2025 (https://arxiv.org/html/2606.10315#bib.bib6))报告其真阴性率低于\(25%25\\%\)，并指出类别不平衡夸大了准确率。两者都是*单轮、客观错误*的设置。我们的贡献在于*多轮、生产交易智能体*的具体实例化，以及关键的一个分类法，解释*哪些*缺陷类别被遗漏。

#### 评判智能体轨迹。

Lù et al. (2025 (https://arxiv.org/html/2606.10315#bib.bib10))是真正接近的孪生工作：第一个评估智能体轨迹LLM评判者的基准（专家审查的Web智能体运行），发现没有评判者在所有方面都表现优异。它覆盖单轨迹Web智能体，并未报告生产环境假阴性率对比人类审查的头条数据，也未提供回合局部 vs 跨回合状态分类法——这正是我们填补的两个空白。

#### 通过结果评估智能体。

主流智能体基准[Yao et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib15); Zhou et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib18); Liu et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib8); Ma et al., 2024 (https://arxiv.org/html/2606.10315#bib.bib11); Guan et al., 2025 (https://arxiv.org/html/2606.10315#bib.bib4)]通过端到端任务成功评分。值得注意的是，Yao et al. (2024 (https://arxiv.org/html/2606.10315#bib.bib15))与我们的交易设置最为接近，它使用数据库状态目标匹配而非LLM评判者——这是一个结果预言机，类似于我们的发现，它回避了评判者召回率问题，但无法诊断*行为*在何处失效。

#### 纠正有噪声的评判者。

使用校准后的有噪声分类器来恢复真实流行率的方法是Rogan–Gladen估计量[Rogan and Gladen, 1978 (https://arxiv.org/html/2606.10315#bib.bib12)]；其应用于LLM评判者是非常近期的进展[Chen et al., 2026 (https://arxiv.org/html/2606.10315#bib.bib1); Feng et al., 2026 (https://arxiv.org/html/2606.10315#bib.bib2)]。我们采用这一框架（§5.6 (https://arxiv.org/html/2606.10315#S5.SS6)）来论证，测得的评判者假阴性率应*校正*，而非仅仅伴随报告的质量。

## 3 设置：一个生产环境的多轮订购智能体

所研究的系统是一个按租户划分的品牌智能体，通过多轮对话以自然语言处理食品和饮料订单：它搜索菜单、构建并修改购物车、回答产品问题、应用饮食限制，并在一个显式的确认网关之后下达订单。评估租户是一个新加坡咖啡品牌，拥有双语（英语/华语，含语码转换）客户群。

#### 语料库。

我们使用一个由循环驱动程序生成的随机化多轮语料库，该程序对一个场景*家族*（例如：the_usual, deep_dietary, large_group, cancel, slot_conflict）、一个区域（en-SG/zh-SG）、一个身份模式（匿名/带收藏夹的已验证）以及5–9轮用户交互深度进行采样。下面分析的批次跨越34个场景家族，在区域上平衡为50/50，对话深度集中在T5–T9（每轮中位延迟\(7373\)秒，p95\(192192\)秒）。

#### 内置评判者。

在每个循环轮次中，一个LLM评判者根据一个评分标准对对话转录进行评分，该标准产生三个*能力*轴——意图、品牌语调、个性化——每个轴为通过与不通过的标志位，附带自由文本原因，以及一个可选的自由文本*疑似缺陷*备注。这些轴得分输入一个自动导出的*回归分类账*：当一个轴被评分为0时记录一个案例，并且一旦重复出现，自动提升为一个测试夹具。另外，该循环产生一个单一的*运营网关*判决，即`live_passed`——这是实际用于发货和拦截的输出。这两个输出不仅是被分别报告，它们在*架构上是断开的*。我们在循环驱动程序中验证了`live_passed`*不是*这三个轴的函数：它仅在运营失败（智能体抛出异常或无响应）或硬性每轮断言时变为失败——而从未因低质量得分而失败，无论其严重程度如何。因此，质量评分标准和实际发货的网关之间没有连接，我们分别测量它们，因为它们相差悬殊（§5.3 (https://arxiv.org/html/2606.10315#S5.SS3)）。本文标题中的“评判者召回率”除非另有说明，均指运营网关——即实际发货的输出。

#### 真实基准。

我们的真实基准是详尽的人类对话审查：一位分析师（在最大批次中，采用对抗性多审查者工作流——每个家族一位审查者，随后是一位持怀疑态度的验证者，被提示在综合之前*反驳*每个发现）阅读完整轮次及工具调用，并仅当一个行为在多个轮次、家族或区域中重复出现时，才记录一个*模式*。一个模式是一个*层面*的症状，而非一次性事件。这产生了一个保守的分母：单次事件被排除在外。

## 4 方法

我们按批次比较人类确认的问题集合与评判者标记的问题集合。我们报告 (i) *模式召回率*：人类审查确认的系统模式中，评判者管道捕获了多少个；(ii) *确认问题在行为维度上的分布*与评判者可用评分标准轴的对比；以及 (iii) 一个*盲区分类法*，关键取决于缺陷是否可以从单轮次判定，或是否需要对话历程。以下所有数字均摘自项目的模式日志和自动捕获的回归分类账；保留精确的批次标识符以便复现。

## 5 结果

### 5.1 召回率远低于四分之一

#### 批次B1（R166–R196，深度流程）。

对R166–R196深度流程批次进行的详尽人类审查浮现出9个系统性模式。运营网关自动捕获了其中2个——即\(22%22\\%\)的模式召回率（Wilson\(95%95\\%\) CI [\(6.3%, 54.7%\)\(6.3\\%, 54.7\\%\)]；在\(n=9n\{=\}9\)时区间较宽）。B1的意义不在于一个精确的比率，而在于即使是一个宽松区间的上限也接近一半。我们其他地方引用的约为\(≈18%\\approx\\!18\\%\)的数值是项目级汇总比率——自动捕获的模式占人类确认模式的比例，跨循环批次汇总而非仅基于B1计算——它略低于B1的点估计，因为后续批次确认的模式多于网关捕获的模式；我们仅将其用作数量级参考，而非精确比率。

#### 批次B2（R166–R265，100个深度轮次）。

在封闭的100轮批次中，运营网关的失败率（\(live\_passed\)）为\(0%0\\%\)：它未标记任何轮次为失败。对人类审查相同轮次确认了分类账中的**23个不同缺陷**，并在B1基础上新增了**7个模式**。在23个确认缺陷中零个被浮出，该批次网关的召回率为\(0%0\\%\)，采用三分法的\(95%95\\%\)上限仅为\(13%13\\%\)（Wilson [\(0%, 14.3%\)\(0\\%, 14.3\\%\)]）；在轮次级别，\(0/1000/100\)轮被标记给出了\(3.7%3.7\\%\)的上限。在该批次上，运营网关对相关多轮缺陷类别的召回率与零无统计显著差异。关键在于，这个\(0%0\\%\)*并非*原始评判者保持沉默——§5.3 (https://arxiv.org/html/2606.10315#S5.SS3)表明原始评判者在自由文本中*经常注意到*这些缺陷，但评分标准的词汇以及与之断开的网关阻止了该注意转化为一个表面化的失败。

#### 批次B3（R1–R160，修复后，新鲜池）。

一个对抗性的人机协同审查（每个家族一位审查者→先反驳的怀疑验证者→综合）提出了**147个疑似问题**，其中**85个被对抗性确认**（22个明确反驳为审查者/评判者的伪影），偏向高严重性——金钱、状态和护栏P0/P1缺陷在确认集中占主导地位。该批次建立了14个进一步模式（P17–P30），其中几个是B1/B2修复的*回归*——这些缺陷自动化网关再次未能作为失败浮出。

跨批次来看（Table1 (https://arxiv.org/html/2606.10315#S5.T1)），一致的图像是一个运营网关只浮出人类发现的多轮系统性问题中的一小部分。我们有意*不*将其简化为一个单一干净的数字：三个批次计数的单位不同（系统性模式、分类账确认缺陷、轮次），因此\(22%22\\%\)（B1）、\(\approx 0%\\approx 0\\%\)（B2）和约\(≈18%\\approx 18\\%\)的汇总运行估计并非同一数量——它们界定了同一个*结论*，每个区间的上限都远低于一半。与某个批次的通用单位是轮次（B2: \(0/1000/100\)）；一个完全回合级别的召回率可跨批次比较需要每个回合的人类标签，这是§5.6 (https://arxiv.org/html/2606.10315#S5.SS6)校准步骤的一部分。

表1：内置评判者相对于详尽人类审查的召回率，按批次划分（Wilson区间，单位%）。分母因各批次人类审查所枚举的内容而异（系统性模式 / 分类账确认缺陷 / 轮次）；所有区间都界定了同一结论——召回率远低于四分之一，即使 \(n=9n\{=\}9\) 时上限也低于一半。

### 5.2 评判者无法看到的缺陷分布

表2 (https://arxiv.org/html/2606.10315#S5.T2) 和图1 (https://arxiv.org/html/2606.10315#S5.F1) 将30个确认模式（P1–P30）映射到五个行为维度，并与评判者评分标准可以输出的三个轴进行对比。不匹配就是机制：30个确认模式中的15个（\(50%50\\%\)）——每一个状态跟踪、护栏、恢复和安全模式（8/3/2/2）——都属于评判者评分标准没有类别的维度，与它至少能部分命名的品牌语调和知识模式形成了干净的\(50/5050/50\)分割。对自动捕获分类账的检查具体证实了泄漏：确认流程和订单完成失败（护栏/状态缺陷——智能体错误处理显式“确认”）在分类账中被标记为`brand_voice`（例如栈[原文如此]）。