超越结果鸿沟：基于LLM的多智能体决策系统的过程感知公平性诊断

# 基于LLM的多智能体决策系统的流程感知公平性诊断  
来源：https://arxiv.org/html/2609.02092  
作者：陆舟 | 南京航空航天大学 | 新型软件技术与产业化协同创新中心  
方黎明 | 南京航空航天大学  
陈宇飞 | 山东大学  
吴佳飞 | 浙江大学软件技术学院 | 浙江大学宁波全球创新中心  
刘哲 | 浙江大学软件技术学院 | 浙江大学宁波全球创新中心  
徐晓刚 | 浙江大学软件技术学院 | 浙江大学宁波全球创新中心  

---

###### 摘要  
基于大语言模型的多智能体系统正日益被用于高风险决策场景，但基于结果的公平性审计可能会忽略决策轨迹中风险的产生环节。我们提出 **SCOPED-Hiring**，这是一个面向基于LLM的招聘多智能体系统的流程感知公平性诊断框架。该框架构建受控的简历变体，运行基于角色的招聘委员会，记录超过31.1万条结构化决策轨迹，并将轨迹字段转换为按六个诊断维度组织的定量公平性信号：最终结果、反事实、流程、路径、动态和设计效应。  

SCOPED-Hiring揭示，平衡的最终录用率可能在多智能体决策轨迹中掩盖**隐藏的轨迹不公平性**：职业空档期会引发怀疑，代理信号会塑造资格判断，身份线索则导致不平等的审查。基于这些诊断结果的针对性修复，将总分层负担降低了72.3%，同时仅使录用率变动1.86个百分点。这表明流程诊断能够指导有效的修复。  

项目页面：SCOPED-Hiring (https://scoped-hiring-project-page.vercel.app/)  
††脚注：通讯作者：[[email protected]](mailto:[email protected]), [[email protected]](mailto:[email protected])  

---

## 1 引言  
近期的智能体框架使构建基于LLM的多智能体系统作为角色专用化工作流成为可能（Wu et al., 2023 (https://arxiv.org/html/2609.02092#bib.bib1); Hong et al., 2024 (https://arxiv.org/html/2609.02092#bib.bib2); Qian et al., 2024 (https://arxiv.org/html/2609.02092#bib.bib3)）。由于这些系统组织复杂的多步骤决策过程，它们正日益被探索应用于招聘、金融交易和医疗保健等高风险领域（Lo et al., 2025 (https://arxiv.org/html/2609.02092#bib.bib12); Xiao et al., 2024 (https://arxiv.org/html/2609.02092#bib.bib5); Lungren, 2025 (https://arxiv.org/html/2609.02092#bib.bib6)）。这一转变使得基于LLM的多智能体系统的公平性成为亟需审计的目标。

![插图标题](https://arxiv.org/html/2609.02092/x1.png)
**图1**：基于LLM的多智能体系统在结果层面的审计中可能显得公平，但在流程、路径、动态和设计等视角下仍可能包含隐藏的偏见。SCOPED-Hiring能够定位这些轨迹层面的风险，帮助从业者识别与公平相关的系统设计选择，并开发更公平的系统。

![插图标题](https://arxiv.org/html/2609.02092/x2.png)
**图2**：SCOPED-Hiring概览。(1) 将种子简历扩展为跨信号族的受控候选变体（§3.1 (https://arxiv.org/html/2609.02092#S3.SS1)；附录A (https://arxiv.org/html/2609.02092#A1)）。(2) 一个两阶段、基于角色的招聘多智能体系统记录结构化决策轨迹（§3.2 (https://arxiv.org/html/2609.02092#S3.SS2)；§3.3 (https://arxiv.org/html/2609.02092#S3.SS3)；附录B (https://arxiv.org/html/2609.02092#A2)）。(3) SCOPED审计模板定义了六个特定视角的指标族，用于将轨迹字段转换为定量公平性信号（§3.4 (https://arxiv.org/html/2609.02092#S3.SS4)；附录C (https://arxiv.org/html/2609.02092#A3)）。(4) 这些信号被聚合为“信号族-视角”诊断矩阵，生成偏见景观并揭示隐藏的轨迹不公平性（§4 (https://arxiv.org/html/2609.02092#S4)；附录F (https://arxiv.org/html/2609.02092#A6)）。(5) 诊断出的风险指导公平技能的修复与验证（§4.2 (https://arxiv.org/html/2609.02092#S4.SS2)；§5 (https://arxiv.org/html/2609.02092#S5)；附录H (https://arxiv.org/html/2609.02092#A8)）。

基于LLM的多智能体系统的公平性不仅是终点属性。先前关于程序公平性的研究认为，公平的决策也取决于其产生过程（Colquitt, 2001 (https://arxiv.org/html/2609.02092#bib.bib26); Grgić-Hlača et al., 2018 (https://arxiv.org/html/2609.02092#bib.bib30)），而近期的多智能体系统研究表明，智能体通信、角色分工、交互拓扑和多步骤系统动态可以重塑公平性风险（Li et al., 2026 (https://arxiv.org/html/2609.02092#bib.bib11); Binkyte, 2025 (https://arxiv.org/html/2609.02092#bib.bib7); Lazri et al., 2026 (https://arxiv.org/html/2609.02092#bib.bib8)）。然而，我们对于公平性风险如何在多智能体系统决策轨迹内部展开，尤其是在最终结果看似平衡时，仍缺乏受控的证据。

我们在招聘领域研究这一问题，这是一个高风险的领域，公平性质疑尤为突出，因为候选人评估涉及稀缺机会、代理信号、分阶段筛选和基于角色的审议（Lo et al., 2025 (https://arxiv.org/html/2609.02092#bib.bib12); Raghavan et al., 2020 (https://arxiv.org/html/2609.02092#bib.bib17)）。我们提出 **SCOPED-Hiring**，一个面向基于LLM的招聘多智能体系统的流程感知公平性诊断框架（图2 (https://arxiv.org/html/2609.02092#S1.F2)）。我们的核心思想是，不仅要审计谁被录用，还要审计智能体如何达成该决策（图1 (https://arxiv.org/html/2609.02092#S1.F1)）。

在这个语言驱动的流程中，候选人信息通过简历输入，并由LLM智能体转化为评估、论点、分数和投票，这些共同影响着集体决策。SCOPED-Hiring通过四个步骤实现此诊断：

首先，从真实简历种子出发，构建跨人口统计、身份相关、职业空档期和代理信号族的受控候选变体，同时固定其能力内容（图2 (https://arxiv.org/html/2609.02092#S1.F2)，步骤1）。

其次，每个变体都由一个基于AutoGen（Wu et al., 2023 (https://arxiv.org/html/2609.02092#bib.bib1)）构建的可配置、基于角色的多智能体系统流程处理。主要条件使用两阶段委员会结构；额外的单智能体、拓扑和压力变体则用于设计层面的比较。这产生了超过31.1万条涵盖私有评估、公开论点、分数、调查请求和投票的结构化案例记录（图2 (https://arxiv.org/html/2609.02092#S1.F2)，步骤2）。

第三，SCOPED审计模板提供了从原始轨迹到可测量公平性证据的桥梁。它规定了如何在不同视角下读取、比较不同的轨迹字段，并将其转换为定量的负担信号：统计结果、反事实敏感性、操作流程、路径分解、演化动态和设计效应。每个视角定义了一个轨迹切片、一个指标族和一组比较规则，包括结果/分数差距、匹配种子效应、平衡性指标、公开论点立场、调查模式、阶段路径差距、审议漂移、投票转变和跨条件对比（图2 (https://arxiv.org/html/2609.02092#S1.F2)，步骤3；详见§3.4 (https://arxiv.org/html/2609.02092#S3.SS4) 和附录C (https://arxiv.org/html/2609.02092#A3)）。

第四，所得的特定视角信号被聚合为“信号族-视角”诊断矩阵。该矩阵揭示了偏见景观：它展示了哪些信号族承载了最强的公平性负担，以及哪些轨迹视角暴露了这种负担（图2 (https://arxiv.org/html/2609.02092#S1.F2)，步骤4）。

SCOPED-Hiring诊断出多智能体决策轨迹中的一个核心模式：**隐藏的轨迹不公平性**。在三种LLM上，流程感知（O/P/E/D）的显著性超出结果导向（S/C）显著性达2.74×–4.66×。这一对比在三种反复出现的风险中最为明显：职业空档期变体在未造成显著结果差距的情况下，触发了私有怀疑和质疑性调查；代理信号（大学层次、城市层次、爱好/社会经济地位）在特定多智能体系统设计下进入了能力或适配性判断；身份相关信号驱动了不平等的调查模式。

综合这些发现，我们不仅识别了哪些信号是高风险的，还指出了决策轨迹的哪些部分需要修复：防止不确定性转化为怀疑，防止代理信号被视为资格证据，并为调查请求强制执行一致的标准。为了验证此诊断，我们从这些目标中推导出**公平技能**并运行匹配的干预实验。在汇总验证中，公平技能套件将总分层公平性负担降低了72.3%，同时仅使录用率变动了1.86个百分点。

我们的贡献是：(1) **SCOPED-Hiring**，一个面向基于LLM的招聘多智能体系统的流程感知公平性诊断框架，包含覆盖完整决策轨迹的六个诊断视角；(2) 多智能体决策轨迹中**隐藏的轨迹不公平性**的经验证据，表明平衡的最终结果可以与流程、路径、动态和设计证据中更严重的负担共存；以及(3) **公平技能**，一套基于识别的轨迹风险推导的诊断指导干预方案，在保持整体招聘策略不变的同时，将总分层公平性负担降低了72.3%，支持了流程层面诊断的修复价值。

## 2 相关工作
#### 基于LLM的多智能体系统。  
基于LLM的多智能体系统为智能体分配专门角色，允许它们交换消息，并在多步骤工作流中进行协调（Guo et al., 2024 (https://arxiv.org/html/2609.02092#bib.bib13); Li et al., 2024 (https://arxiv.org/html/2609.02092#bib.bib14)）。AutoGen、MetaGPT和ChatDev等框架使得此类基于角色的协作易于实例化（Wu et al., 2023 (https://arxiv.org/html/2609.02092#bib.bib1); Hong et al., 2024 (https://arxiv.org/html/2609.02092#bib.bib2); Qian et al., 2024 (https://arxiv.org/html/2609.02092#bib.bib3)），从而推动了其在社交模拟、金融决策和面向招聘的筛选等领域的应用（Park et al., 2023 (https://arxiv.org/html/2609.02092#bib.bib4); Xiao et al., 2024 (https://arxiv.org/html/2609.02092#bib.bib5); Lo et al., 2025 (https://arxiv.org/html/2609.02092#bib.bib12)）。自然语言处理研究也考察了LLM智能体交互中的偏见与公平对齐（Borah and Mihalcea, 2024 (https://arxiv.org/html/2609.02092#bib.bib39); Ki et al., 2025 (https://arxiv.org/html/2609.02092#bib.bib40)），并通过基于语言的智能体过程评估协作（Zhu et al., 2025 (https://arxiv.org/html/2609.02092#bib.bib41); Sun et al., 2025 (https://arxiv.org/html/2609.02092#bib.bib42)）。随着基于LLM的多智能体系统承担起重要决策，其中间交互和角色分配本身就成了审计目标。

#### 多智能体系统中的公平性与系统级风险。  
经典的公平性工具通常应用于单步骤系统的输出（Dwork et al., 2012 (https://arxiv.org/html/2609.02092#bib.bib9); Hardt et al., 2016 (https://arxiv.org/html/2609.02092#bib.bib15); Kusner et al., 2017 (https://arxiv.org/html/2609.02092#bib.bib16); Barocas et al., 2023 (https://arxiv.org/html/2609.02092#bib.bib10)）。流程公平性研究进一步表明，公平性不一定能在不同阶段和决策之间可组合（Bower et al., 2017 (https://arxiv.org/html/2609.02092#bib.bib43); Dwork et al., 2020 (https://arxiv.org/html/2609.02092#bib.bib44); Kannan et al., 2019 (https://arxiv.org/html/2609.02092#bib.bib45)）。因此，将公平性工具应用于多智能体系统需要面对新的系统级风险。近期的研究表明，多智能体系统结构和反馈回路会放大偏见（Li et al., 2026 (https://arxiv.org/html/2609.02092#bib.bib11)），多智能体和多阶段的行动会随时间影响公平性结果（Lazri et al., 2026 (https://arxiv.org/html/2609.02092#bib.bib8)），以及基于LLM的多智能体系统的公平性可以通过沟通行为而非仅最终分配来衡量（Binkyte, 2025 (https://arxiv.org/html/2609.02092#bib.bib7)）。这些工作表明，多智能体系统的公平性不能简化为单个模型的输出。推理层面的证据可以揭露仅基于结果的审计所忽略的差别待遇（Nghiem et al., 2025 (https://arxiv.org/html/2609.02092#bib.bib46)）；我们的重点是跨角色和阶段结构化的基于LLM的多智能体系统决策轨迹中公平性负担的受控定位。

#### 公平性审计与招聘。  
招聘是一个尤为突出的公平性领域：就业决策分配稀缺机会，并且通常依赖于可能编码了结构性不平等的资历、职业历史和社会代理信号（Raghavan et al., 2020 (https://arxiv.org/html/2609.02092#bib.bib17)）。先前的工作已探讨了算法招聘中的公平性和可解释性，综合了其风险，并使用审计研究来评估公平性干预（Schumann et al., 2020 (https://arxiv.org/html/2609.02092#bib.bib47); Fabris et al., 2025 (https://arxiv.org/html/2609.02092#bib.bib48); Sariola et al., 2026 (https://arxiv.org/html/2609.02092#bib.bib49)）。近期以LLM为重点的基准测试揭示了简历评分和职位匹配中存在的性别、种族和教育相关的差异（Wang et al., 2024 (https://arxiv.org/html/2609.02092#bib.bib18); Iso et al., 2025 (https://arxiv.org/html/2609.02092#bib.bib19)）。尽管这些研究推动了跨招聘阶段的公平性分析，但它们较少审视基于角色的、多智能体的审议过程，而在此过程中，角色划分、分阶段筛选和智能体间的相互影响共同塑造了决策轨迹。

## 3 SCOPED-Hiring
**SCOPED-Hiring**将基于LLM的招聘多智能体系统作为一个决策轨迹进行审计。它构建受控的候选案例，运行跨模型和设计变体的可配置、基于角色的多智能体系统流程，记录结构化轨迹，将轨迹字段转换为特定视角的公平性信号，并将这些信号聚合成诊断矩阵（图2 (https://arxiv.org/html/2609.02092#S1.F2)）。

### 3.1 受控候选变体
我们从Djinni招聘数据集（Drushchak and Romanyshyn, 2024 (https://arxiv.org/html/2609.02092#bib.bib24)）的23万份匿名简历（2020–2023年）中获取真实简历种子，构建候选案例。受控变体的创建方法是：在固定能力内容（经验、技能、职业、核心简历文本）的同时，注入公平性相关信号。信号涵盖四个族：
- **人口统计**（隐含性别的姓名和年龄段）（Nghiem et al., 2024 (https://arxiv.org/html/2609.02092#bib.bib23); Neumark et al., 2019 (https://arxiv.org/html/2609.02092#bib.bib36)）；
- **身份相关**（跨国别及12个国家/地区内部的身份群体线索）；
- **代理**（大学层次、城市层次）（Kain, 1968 (https://arxiv.org/html/2609.02092#bib.bib28)），以及作为社会经济地位线索的爱好）（Rivera, 2011 (https://arxiv.org/html/2609.02092#bib.bib22); Rivera, 2012 (https://arxiv.org/html/2609.02092#bib.bib21)）；
- **就业历史**（带有类型化解释的职业空档期：家庭、健康、裁员）（Kristal et al., 2023 (https://arxiv.org/html/2609.02092#bib.bib27)）。
完整的信号定义、载体库和生成模板见附录A (https://arxiv.org/html/2609.02092#A1)。

表1：公平性标准与SCOPED维度。每个视角将公平性标准映射到记录的轨迹字段和一组方向感知的负担指标上。