一篇出色的论文展示了如何以极低成本重新评估生产环境中的智能体。

仅用200个问题（占完整基准测试的38.5%），即可将完整评分的误差控制在1.03分以内。

作者研究了一个服务于数万月度用户的分析型智能体，利用按日期划分为校准期和保留期的574次历史基准测试。

他们比较了随机抽样、缓存结果、固定代表性子集以及基于项目反应理论的自适应测试。

多维双参数逻辑模型自适应测试展现了最佳保真度。

团队最终选择了难度分层固定子集进行部署，因其操作更简便。该子集无需重新校准即可迁移至其他五个智能体系列，且校准窗口即使短至一天仍保持稳定。

论文地址：https://arxiv.org/abs/2609.21267

论文互动讨论：https://academy.dair.ai/papers/efficient-benchmarking-in-production-a-study-of-an-evolving-llm-agent-2609.21267…

生产环境中的高效基准测试：基于演化型LLM智能体的研究

来源：https://arxiv.org/html/2609.21267
Yining She††备注：工作于Meta期间完成。Lei Lin所属机构：Meta邮箱：[email protected]

摘要

生产环境中的LLM智能体在演化过程中需要重复评估，但完整基准测试重跑成本高昂。本研究针对服务数万月度活跃用户的生产分析型智能体，探讨高效迭代评估方法，并分享一手部署经验。通过使用574次历史基准测试运行数据（按时间划分为校准期和保留期），我们比较了随机抽样、历史缓存、固定代表性子集和基于IRT的自适应测试。结果表明，多维双参数逻辑模型自适应测试具有最佳的整体评分保真度：仅执行200个问题（占完整测试的38.5%），即可达到1.03个百分点的平均绝对误差。但考虑到操作简便性，我们最终部署了难度分层固定子集，并验证该子集无需重新校准即可迁移至其他五个智能体系列，且在短至一天的校准窗口内仍保持稳定。基于此次部署经验，我们提出了生产环境智能体迭代评估的实用建议。

1引言

图1：研究概览。(a)生产分析型智能体的历史评估运行数据，按时间划分为校准期和保留测试期。(b)比较的四种部分评估方法：每种方法执行子集S⊆QS⊆Q并报告完整测试通过率s的估计值ŝ。(c)在287次保留运行上的测试结果：与完整测试相比的通过率平均绝对误差（越低越好），以及斯皮尔曼和肯德尔秩相关系数（越高越好）。生产环境中的LLM智能体在模型、提示词、工具及周边系统演化过程中需要重复评估。每个基准测试项目可能涉及多步骤轨迹，包含重复模型调用、工具使用、有状态交互和任务特定评分；随机性也可能需要多次试验(Kapoor et al., 2026；Yao et al., 2024；Jimenez et al., 2024)。我们的工作源于部署分析型智能体开发过程中的挑战——该智能体服务于数万月度活跃用户，其开发和监控产生了数万次评估运行。基准测试评估是该工作量的重要组成部分，而包含519个问题的中央基准测试每次运行约需三小时。这使得成本与时间高效的测量对于持续开发至关重要。

先前工作通过子集选择、分数重建和自适应测试降低LLM评估成本(Vivek et al., 2024；Polo et al., 2024；Perlitz et al., 2024；Kipnis et al., 2025；Yuan et al., 2025；Truong et al., 2025)。这些方法主要基于公共基准测试上不同模型的响应进行校准。对于演化型生产智能体的迭代评估（其中早期运行的时间有序结果可为后续评估提供参考），现有认知仍存在空白。

因此我们探究：在智能体持续开发过程中，部分评估能在多大程度上替代完整基准测试？我们从两个维度进行衡量：评分保真度（执行问题数量与完整基准测试估计分数误差之间的权衡）以及排序保真度（各方法在多大程度上保留评估运行的排序）。

我们比较了随机抽样与三种历史评估数据的利用方式：缓存复用稳定结果、固定子集执行代表性问题、以及基于当前运行响应选择下一个问题的自适应测试(Polo et al., 2024；Truong et al., 2025)。我们使用生产智能体的真实历史数据：52天内收集的574次基准测试运行，划分为287次校准运行和287次保留测试运行（图1）。

结果表明，部分评估能以显著更少的执行量精确复现完整基准测试性能。多维双参数逻辑模型自适应测试具有最强的评分保真度：执行519个问题中的200个（占完整测试的38.5%）可达到1.03个百分点的通过率平均绝对误差。部分评估也能保留排序关系：在300个问题时，最佳自适应配置与完整基准测试排序的斯皮尔曼相关系数达0.992。难度分层固定子集在非自适应方法中表现最佳，因其操作简便性我们予以部署。我们进一步通过跨智能体迁移和校准窗口敏感性分析验证了该选择。

本文贡献如下：

• 利用574次历史基准测试运行和时间保持协议，研究演化型生产智能体的迭代评估
• 比较随机抽样、历史缓存、固定子集和自适应测试在评分与排序保真度上的权衡
• 分析方法设计选择，通过迁移至五个智能体系列及对校准历史的敏感性分析验证难度分层固定子集
• 基于这些结果和生产评估工作流的部署经验提出实用建议

2问题设定

2.1生产环境智能体迭代评估

当生产智能体的模型、提示词、工具和周边系统发生变化时，开发者需要在人工维护的基准测试上重复评估其配置。每个问题获得二元通过/失败判定，并聚合成运行级别的通过率用于配置比较。

设完整基准测试包含N个问题Q={q1,…,qN}。对于评估运行r，记yri∈{0,1}表示问题qi的判定结果（1表示通过）。完整问题判定向量为：

yr=(yr1,…,yrN),(1) 完整评估的通过率为：

sr=1N∑i=1Nyri.(2) 我们将sr视为高效评估需要复现的参考分数。

2.2部分评估

为降低计算成本和延迟，高效评估方法m执行子集Sr(m)⊆Q并估计完整通过率为ŝr(m)。记Hr为早期运行可用的问题判定历史。估计器为：

ŝr(m)=fm({yri:qi∈Sr(m)},Hr),(3) 其中fm可利用当前运行判定和历史数据。不同方法可能选择不同问题并以不同方式计算报告通过率。第3节将具体说明每种方法的选择规则和估计器。

我们通过执行的基准测试问题比例衡量效率：

执行比例r(m)=|Sr(m)|/N.(4)

2.3评估目标

第一个目标是评分保真度：高效评估应报告接近完整评估的通过率。对于评估运行集R，我们使用以下指标总结评分误差：

MAE(m)=1|R|∑r∈R|ŝr(m)−sr|.(5) 第二个目标是排序保真度。开发者使用运行排序比较候选变更并调查性能回退，因此部分评估应保留完整评估的排序。我们使用斯皮尔曼相关系数和肯德尔τ系数衡量{ŝr(m)}r∈R与{sr}r∈R之间的一致性。

3方法

我们比较随机抽样、历史缓存、固定子集和自适应测试。每种方法定义执行集Sr(m)和完整通过率估计器。

3.1随机抽样

随机抽样无放回均匀抽取k个问题并报告其未加权通过率：

ŝr(rand)=1k∑qi∈Sr(rand)yri.(6)

3.2历史结果缓存

在近期运行中持续通过或失败的问题，在智能体轻微更新后结果变化可能性较低。历史缓存利用这种稳定性，对选定问题复用预期判定而非重新执行。从可用历史Hr中，我们选择回溯窗口Wr并计算每个问题qi的历史通过率：

ȳri=1|Wr|∑u∈Wryui.(7) 当满足以下条件时问题具有缓存资格：

min(ȳri,1−ȳri)≤ε,(8) 其中ε∈[0,0.5]控制所需稳定性。合格问题获得其近期多数判定结果ỹri=1[ȳri≥0.5]，其余问题则执行。若Kr为缓存集，该方法执行Sr=Q∖Kr并报告：

ŝr(cache)=1N(∑qi∈Sryri+∑qi∈Kry~ri).(9)

3.3固定子集评估

受Polo et al. (2024)启发，固定子集评估利用历史结果选择代表性集合并在后续运行中复用。我们比较三种选择策略和两种评分估计器，以区分子集构建与分数重建。

3.3.1项目反应理论模型

部分选择器和估计器使用在历史响应矩阵上拟合的项目反应理论模型。多维双参数逻辑模型为每次运行分配能力向量θr，每个问题分配区分度向量αi和标量难度βi。模型预测通过概率为：

pri=Pr(yri=1∣θr,αi,βi)=σ(αi⊤θr−βi),(10) 其中σ是逻辑斯谛函数。我们通过最大后验估计从历史判定中估计参数（使用高斯先验）。Rasch（即单参数逻辑模型）是单维特例，其中αi=1：

pri=σ(θr−βi).(11)

3.3.2子集选择

我们采用难度分层作为直接、可解释的构建方法，在估计的难度范围内选择问题。为比较，我们也评估了历史响应和IRT特征聚类（改编自Polo et al. (2024)的两种聚类选择器）。

难度分层

我们在校准运行上拟合Rasch模型（公式11），按难度βi对问题排序，并将其划分为k个大致相等的层次。从每层选择最接近其中位数难度的问题，并按该层在基准测试中的比例赋予权重。

历史响应聚类

我们用向量表示每个问题在历史运行中的通过/失败结果，并应用k均值聚类。选择每个聚类质心最近的问题，其权重为该聚类在基准测试问题中的比例。

IRT特征聚类

我们改用拟合的双参数逻辑模型项目参数[αi;βi]表示每个问题，并应用相同的k均值选择和加权。

3.3.3分数估计

遵循Polo et al. (2024)，我们使用两种分数估计器评估每种选择器。加权子集估计器仅使用选定问题，而广化p-IRT估计器使用拟合的IRT模型重建未观测问题。

加权子集估计器

该估计器将每个选定问题视为其组的代表。对于固定子集S，设wi为问题qi的聚类或层次权重，满足∑qi∈Swi=1。加权估计为：

ŝr(weighted)=∑qi∈Swiyri.(12)

广化p-IRT估计器

gp-IRT估计器结合加权子集估计与基于IRT的完整基准测试重建，在采样变异性和拟合IRT模型误差之间取得平衡。基于IRT的重建是p-IRT。它首先从当前运行在S中的响应估计能力θ̂r（固定拟合的项目参数），然后用每个未观测问题的预测通过概率替代其判定：

ŝr(pIRT)=1N(∑qi∈Syri+∑qi∉Spi(θ̂r)).(13) 在我们的实验中，难度分层使用Rasch参数进行选择和重建，而聚类变体使用拟合的多维双参数逻辑模型。

gp-IRT估计器混合加权和p-IRT估计：

ŝr(gpIRT)=λŝr(weighted)+(1−λ)ŝr(pIRT),(14) 其中混合权重λ为：

λ=b̂2σ̂2/(4|S|)+b̂2.