超越“人工智能协助人类”：智能体时代人机团队决策导向的评估设计

# 超越"AI辅助人类"：智能体时代人机团队的决策导向评估设计  
来源：https://arxiv.org/html/2609.05527 \\workshoptitle 人机协同进化：智能体时代人机团队的度量  

**作者信息**  
**Hamed Khosravi**  
所属机构：H. Milton Stewart工业与系统工程学院  
所属机构：佐治亚理工学院  
所属机构：美国佐治亚州亚特兰大市30332  
邮箱：[[email protected]](mailto:)  

**Xiaoming Huo**  
所属机构：H. Milton Stewart工业与系统工程学院  
所属机构：佐治亚理工学院  
所属机构：美国佐治亚州亚特兰大市30332  
邮箱：[[email protected]](mailto:)  

###### 摘要  
当编程智能体在工程师监督下工作，或临床模型辅助放射科医生时，部署决策的关键在于：是否应保留人机协作工作流，还是用纯人工或纯智能体方案替代。仅当人机协作工作流优于另外两种方案时，才值得保留。然而一旦部署，我们无法观察到另外两种方案的结果——重放任一方案都需要专家时间或计算资源。在固定重放预算下，设计问题转化为：哪些任务更可能需要纯人工重放？哪些更可能需要纯智能体重放？  

现有方法并未直接针对该决策。智能体基准测试未选择缺失基线进行测量；基于方差的采样忽略了两种比较中哪个更接近失败；贝叶斯信息方法则专注于模型参数学习而非部署决策。  

我们提出**TEAM-Design**规则，为每个任务分配两种重放概率（分别对应两种基线）。该规则会提高那些“缺失基线结果难以预测”且“比较难以确定”的任务的重放概率，并在重放成本较高时降低概率。我们证明该规则能解决此预算约束设计问题，且基于概率随机抽取重放样本仍能控制错误宣称“人机协作工作流优于两种替代方案”的风险。  

我们重新分析了6个临床场景（其中无人机协作工作流优于两种替代方案）和一个编程基准测试（其中存在优于两种方案的工作流），并在合成设计及基于真实胸部X光阅读研究的半合成设计上评估TEAM-Design。当两种比较中有一种明显比另一种更难确定时，TEAM-Design效果最佳；当两者难度相当时，其表现可能逊于基于方差的分配方法。  

## 1 引言  
#### 部署决策问题  
人类与AI系统正日益协同工作。在软件开发中，编程智能体编写代码、使用工具并运行测试，而工程师负责审查和指导其工作。Anthropic报告显示其员工频繁使用Claude，但仅有00–20%的工作能完全委托给AI[1]；部署Claude Code的金融科技团队正逐步转向让开发者审查智能体的代码提交[2]。在医疗领域，AI模型辅助临床医生，但后者仍对最终决策负责。  

在这两种场景中，组织仅能观察到实际运行的人机协作工作流结果（人类与智能体共同处理任务），却无法观察到纯人工或纯智能体方案的结果。因此我们研究的核心部署问题是：当存在替代方案时，人机协作工作流是否仍值得保留？  

#### 缺失的基线比较  
回答此问题需要知道同一任务在纯人工或纯智能体方案下的结果，但两者均未被记录。纯智能体重放需要调用模型、计算资源和工具；纯人工重放可能要求高级工程师独立重做任务，或临床医生在无AI辅助下重新判读病例。对所有任务运行两种替代方案的成本可能超过评估本身的价值，由此产生实际问题：  

> *在固定重放预算下，哪些任务应更可能接受纯人工重放？哪些应更可能接受纯智能体重放？以便判断人机协作工作流是否优于两种替代方案？*  

我们不预先选择固定任务子集。每个任务获得两种重放概率（分别对应两种基线），两次重放决策独立抽取，因此一个任务可能不重放、重放一种或两种方案。更高的概率意味着该基线在具有相似信息量的任务中会被更频繁地重放。  

#### 两种应用场景  
在编程领域，人工与智能体重放的成本差异极大。在医疗领域，部分研究让临床医生评估相同病例在有/无AI支持时的表现[22,23]，因此我们利用临床数据研究两种比较，并以编程场景体现不等重放成本。某些编程基准测试报告纯人工、纯智能体和人机协作工作流的总体分数[10,11]，但这些是跨任务的平均值，而非每个任务的三种结果记录，因此无法估计个体任务的增益，也无法在这些数据上测试选择性重放。  

#### 相关工作  
现有研究为该问题提供了部分解决方案，但未形成完整的评估设计框架。已有框架可比较纯人工、人工+AI和纯AI方案[3]，但未决定哪些任务应接受纯人工或纯智能体重放。智能体评估研究指出，仅准确率可能忽略评估成本和部署有效性[4,5]。主动学习与实验设计为下游决策选择数据[6,7]，离线策略方法为估计策略性能设计数据采集[8,9]。经典基于方差的方法（包括Neyman分配和成本感知采样）在结果不确定时分配测量资源，在测量成本高时保留资源[16,17]，但未考虑两种比较中哪个更接近失败。排序与最优系统选择方法也能高效分配测量[12-15]，但通常针对可直接测量的结果。基于第一阶段估计确定第二阶段规模是经典的两阶段抽样[19]，而本问题中两种基线结果均缺失且获取成本高，且人机协作工作流必须优于两者。  

#### 贡献  
我们做出四项贡献：  
- **针对部署决策的评估设计**：首次提出可选择缺失基线在哪些任务上进行测量的评估设计，使固定重放预算能最大化用于判断人机协作工作流是否优于两种替代方案。TEAM-Design以封闭形式为每个任务分配纯人工和纯智能体重放概率，在“缺失基线难以预测”且“比较难以确定”时增加重放，在重放成本高时减少重放。所需参数仅需从一个小规模*试点*任务集（已运行三种配置）学习一次。  
- **规则的最优性而非启发式**：我们证明该设计问题是凸极小极大问题：由于工作流必须优于两种替代方案，目标函数在两种比较上取极大值以选择需要更多证据的比较，然后在重放概率上取极小值以使其最易解决。我们证明TEAM-Design的平方根规则是其精确解。  
- **决策有效性**：我们证明基于试点估计重放概率，并从中随机抽取重放样本，仍能控制错误宣称工作流优于两种替代方案的风险，且同时满足两个界限时无需多重性校正。  
- **问题的真实性与规则的有效性**：在6个临床研究场景中，辅助临床医生表现优于纯人工但劣于纯模型，因此无人机协作工作流优于两种替代方案。而设计用于协作的编程基准测试呈现相反模式。在基于真实胸部X光研究的半合成设计上，TEAM-Design在低于完全重放的所有预算下均对较难基线的增益估计误差最低。当一种比较明显比另一种更难时，其优势最显著；当两者难度相当时，表现可能较差。  

## 2 问题表述  
任务可通过三种方式处理：人类与智能体协作（部署工作流）、纯人工或纯智能体。仅第一种被部署，*工作流*始终指代该联合配置；另两种为其*基线*。对于部署任务池中的任务，我们观察到信息$W \in \mathcal{W}$（如工具调用、测试失败或运行时间）及工作流结果$T$。基线结果$Y_H$和$Y_A$缺失，除非任务被重放。  

工作流相对于每种基线的平均增益为：  
$$
\Delta_H = \mathbb{E}[T - Y_H], \quad \Delta_A = \mathbb{E}[T - Y_A], \tag{1}
$$  
其中$\mathbb{E}[\cdot]$表示跨任务平均。用$j \in \{H, A\}$表示任一基线，则$\Delta_j > 0$表示工作流平均优于基线$j$。设$\delta_j \geq 0$为相对于该基线所需的最低改进量。仅当$\Delta_H > \delta_H$且$\Delta_A > \delta_A$时保留工作流：  
$$
\Delta_H > \delta_H \quad \text{且} \quad \Delta_A > \delta_A; \tag{2}
$$  
取$\delta_H = \delta_A = 0$即仅判断是否优于两种替代方案。  

现考虑包含$n$个独立任务的评估池，下标为$i$。观察到$(W_i, T_i)$，而$Y_{ij}$缺失，除非基线$j$以成本$c_j(W_i)$被重放。由于无法对所有任务重放两种基线，我们选择一对*重放规则*。规则是任务信息的函数：$q_j: \mathcal{W} \to [q_{j,\min}, 1]$，因此信息为$W$的任务以概率$q_j(W)$重放基线$j$，$R_j | W \sim \text{Bernoulli}\{q_j(W)\}$表示是否发生重放。两次抽取独立，因此一个任务可能不重放、重放一种或两种方案。  

设$B$为每个任务的平均重放预算，则：  
$$
\mathbb{E}\left[c_H(W)q_H(W) + c_A(W)q_A(W)\right] \leq B, \quad q_j(W) \in [q_{j,\min}, 1]. \tag{3}
$$  
下限$q_{j,\min} > 0$确保每个任务仍有概率揭示每个基线结果。用$\sigma_j^2(q_j)/n$表示基于重放任务构建的增益估计的近似方差。重放使该方差成为设计选择：基线$j$仅在被重放的任务上被观测，因此提高$q_j(W)$可提供更多用于比较$j$的结果，从而降低$\sigma_j^2$。方差取决于整个规则而非单个概率，其精确形式由式(8)给出。  

当估计噪声较大或真实增益接近所需改进量时，比较难以进行：对于$\Delta_j > \delta_j$，确立比较$j$所需的任务数量随$\sigma_j^2(q_j)/(\Delta_j -\delta_j)^2$增长，我们将其视为该比较的难度。两种比较必须同时通过，改进已容易的比较无助于决策。因此，较难的比较决定了所需证据量，我们选择两种重放规则使其尽可能容易解决：  
$$
\min_{q_H(\cdot), q_A(\cdot)} \max_{j \in \{H, A\}} \frac{\sigma_j^2(q_j)}{(\Delta_j -\delta_j)^2} \quad \text{约束于式(3).} \tag{4}
$$  
式(4)中的变量是两个规则本身（每个任务信息值对应一个概率），式(3)定义了其可行域。比较$j$仅依赖自身规则$q_j$；两者仅通过共享预算约束式(3)耦合，因此用于一种比较的重放消耗了另一种比较可用的资源。由于$\Delta_j$和$\sigma_j^2(q_j)$均依赖缺失的基线结果，两者均未知。第3节引入TEAM-Design，通过试点估计这些量并设置重放概率。  

## 3 TEAM-Design  
第2节要求两个重放规则$q_H$和$q_A$。最优规则取决于未知量：每种比较与其阈值的接近程度，以及缺失基线结果的可预测性。TEAM-Design通过小规模试点同时估计两者，然后为评估池设置规则。  

#### 从试点中学习  
*试点*是独立于评估池的$n_p$个任务集合，所有三种配置均已运行，因此可同时观测到$T$、$Y_H$和$Y_A$；用$\widetilde{\mathbb{E}}_p$表示其平均值。从本节起，符号装饰含义如下：波浪号表示在试点上计算并用于规划重放的量，帽号表示在评估池上计算并报告的量，普通符号表示待估计的总体量。  

运行三种配置成本高昂，因此试点规模较小，其成本不计入控制评估池的预算$B$（式3）。由于两种基线均被观测，试点直接估计增益$\widetilde{\Delta}_j = \widetilde{\mathbb{E}}_p[T - Y_j]$，即式(1)中部署平均值替换为试点平均值。TEAM-Design仅用$\widetilde{\Delta}_j$规划重放；最终报告来自评估池。  

试点还揭示了哪些缺失结果难以从$W$预测。设$\widetilde{m}_j$为在试点上拟合的基线结果$Y_j$的预测器，记$s_j(W) = \mathbb{E}\left[\{Y_j - \widetilde{m}_j(W)\}^2 | W\right]$为在信息$W$下基线$j$的预测误差方差。该量衡量缺失基线$Y_j$的可预测性：$s_j(W)$越大，预测越困难。