自利代理社会中市场稳定性的正式机制：一项市场模拟研究

# 自利代理社会中维持市场稳定的正式机制：一项市场模拟研究  
来源：https://arxiv.org/html/2607.08652  
Eugene Ng Yi Sheng  
DSO国家实验室  
新加坡国立大学  
[email protected]  
[email protected]  
Bingquan Shen  
DSO国家实验室  
[email protected]  

###### 摘要  
不受约束的自利代理在重复的社会困境中倾向于背叛，导致贸易合作带来的收益崩溃。本文研究在不受限制的沟通之上，哪些正式机制足以维持这样一个代理社会的市场稳定，以及这些机制在面对对抗性攻击时的韧性如何。我们将研究问题实例化为一个多代理市场模拟：18个具有互补生产专长的LLM代理（DeepSeek-V3）必须在受限的社会网络中交易以获得效用。我们进行了两个实验阶段：(1) 在200轮中，随着渐进式破坏者注入（共八种条件）进行机制比较，确定调解为表现最佳的机制；(2) 使用迭代提示优化的LLM驱动破坏者对调解进行对抗性红队测试，发现最佳攻击（v6版）将诚实代理的效用降低了13.3%，但未能使市场崩溃——即使在持续对抗压力下，调解也能实现恢复。我们将**对抗稳健性**定义为机制在优化攻击下维持诚实代理正效用的能力，并发现调解是稳健的：它可以被弯曲，但不会被打破。

## 1 引言  
合作社会的稳定性是社会科学中最古老的问题之一，并且在人工智能领域日益重要。随着自主代理被部署到经济环境中——代表人类委托人进行交易、谈判和资源配置——如何防止一群自利代理陷入相互剥削的困境，成为一个紧迫的实际问题。博弈论的先前工作通过**序贯社会困境**确定了核心矛盾——即个体理性选择产生集体次优结果的情况（Tewolde 等人，2026（https://arxiv.org/html/2607.08652#bib.bib9））。在经典的囚徒困境中，两个代理都选择背叛，因为无论对方如何行动，背叛都是占优策略，然而相互背叛使双方都处于比相互合作更糟的境地。将这种逻辑扩展到多代理系统会产生类似的结果：如果没有干预，种群会收敛到全背叛均衡。最近的实证工作证实，现代大型语言模型（LLM）尽管具有社交推理能力，也表现出同样的失败模式。Tewolde 等人（2026（https://arxiv.org/html/2607.08652#bib.bib9））表明，在没有正式机制的情况下，所有被测试的LLM在所有社会困境中都会背叛。仅靠沟通是不够的。自然语言承诺代价低廉且无法验证。因此，问题不在于沟通是否有帮助，而在于**在沟通之上需要多少正式结构**来维持社会合作，以及当对手积极试图破坏时，这种结构有多强的韧性。

另一条并行的工作研究具有推理能力的LLM是否比非推理型LLM更合作或更不合作。Guzman Piedrahita 等人（2025（https://arxiv.org/html/2607.08652#bib.bib7））发现，在公共物品博弈中，推理模型搭便车的比率显著高于传统LLM，他们将这种现象称为“推理导致的腐败”——模型识别出纳什均衡背叛策略并加以利用。Huang 等人（2026（https://arxiv.org/html/2607.08652#bib.bib8））进一步表明，仅靠机制设计存在可证明的上限：在不完全契约下，没有任何机制可以消除自利均衡行为与社会最优之间的“合作缺口”，而考虑群体福利的亲社会代理可以缩小这一缺口。

### 1.1 研究问题  
> 哪种正式机制能使自利LLM代理在重复交易环境中维持市场合作——这些机制在面对对抗性代理时有多强的韧性？

我们将此问题实例化为一个**市场社会**：一个多代理环境，其中代理具有互补的生产专长，必须通过交易来获得效用。市场是研究该问题的天然实验室，因为：
- • 该环境通过设计创造了贸易收益：代理生产的商品是它们自身无法高效消费的，因此效用取决于与他人的成功交换。
- • 背叛机会在每一步都会出现——生产、谈判和执行阶段都创造了被利用的可能性。
- • 沟通是现实的——代理进行谈判、传播价格信号和传播信息，反映了真实的市场行为。

### 1.2 贡献  
本文做出以下贡献：
1. 1. 一个具体的模拟环境，实现了具有比较优势、易货经济、受限社会网络和自然背叛面的市场社会困境。
2. 2. 在渐进式对抗压力下（200轮，逐步增加的破坏者注入），对八种条件进行机制比较，确定调解为最具韧性的机制。
3. 3. 一种使用迭代提示优化的LLM驱动破坏者（6个版本）进行对抗性红队测试的方法论，证明调解可以被弯曲（效用降低13.3%），但不会被打破（市场从未崩溃）。
4. 4. 对合作机制的**对抗稳健性**的正式定义：在优化攻击下维持诚实代理正效用的能力。

### 1.3 两阶段设计  
我们的研究遵循两阶段设计：
**第一阶段：机制比较。** 所有八种条件运行200轮，使用愚蠢（硬编码）破坏者进行渐进式破坏者注入（0→→4→→8→→16个破坏者）。确定表现最佳的机制。
**第二阶段：对抗性红队测试。** 最佳机制（调解）受到迭代提示优化的LLM驱动破坏者的攻击。开发并测试了六个对抗性提示版本，以找到最强攻击。

## 2 相关工作  
### 2.1 多代理系统中的合作  
多代理系统中合作的研究借鉴了博弈论、进化生物学和机制设计。经典结果确立了合作在没有重复互动、惩罚机制或具有约束力的协议的情况下是脆弱的（Axelrod，1984（https://arxiv.org/html/2607.08652#bib.bib1））。使用复制动力学的进化分析表明，在没有机制的情况下，背叛策略胜过合作者，种群收敛到全背叛（Tewolde 等人，2026（https://arxiv.org/html/2607.08652#bib.bib9））。

### 2.2 CoopEval 与社会困境中的 LLM 代理  
Gallego（2026（https://arxiv.org/html/2607.08652#bib.bib6））研究了密集反馈与稀疏反馈下LLM在社会困境中的策略。他们发现，向代理提供四种社会指标信号——而不是单一的标量奖励——会产生明显更合作的行为，并识别了两类奖励攻击（状态操纵和动态绕过），代理通过这些攻击利用指标定义而不改善实际社会福利。

CoopEval 是我们研究最接近的前身。Tewolde 等人（2026（https://arxiv.org/html/2607.08652#bib.bib9））基准测试了四种合作机制（重复、声誉、契约、调解），涉及四个社会困境和六个LLM家族。他们的核心发现是：所有被测试的LLM在没有机制的情况下都会背叛，而契约和调解在维持合作方面最有效。我们的工作有三个不同之处：(1) 我们使用复杂的多商品市场，而不是抽象矩阵博弈；(2) 我们测试了额外的机制（治理、网络重连、制裁、司法）；(3) 我们使用提示优化的LLM驱动攻击者进行对抗性红队测试。

### 2.3 机制设计及其局限性  
Huang 等人（2026（https://arxiv.org/html/2607.08652#bib.bib8））证明，在不完全契约下，没有任何机制可以消除纳什均衡行为与社会最优之间的“合作缺口”（他们的定理6）。他们表明，**亲社会**代理——那些在考虑自身效用的同时兼顾群体福利的代理——可以在仅凭机制无法做到的情况下缩小这一缺口。他们的实现增加了一个系统提示，指示代理最大化群体福利。这一发现激励我们研究机制层面的防御（第二阶段）是否可以由代理层面的合作激励来补充。

### 2.4 网络重连与结构隔离  
Fu 等人（2025（https://arxiv.org/html/2607.08652#bib.bib5））引入了RepuNet，这是一种双层机制，在基于LLM的多代理系统中结合了代理层面的声誉动态和系统层面的网络重连。他们的关键发现是：当代理可以切断与背叛者的贸易联系时，公共物品博弈中的合作率从0.19提高到0.85。我们的NR条件直接受此工作启发。

### 2.5 昂贵惩罚与制裁  
Guzman Piedrahita 等人（2025（https://arxiv.org/html/2607.08652#bib.bib7））研究了传统LLM和推理LLM在公共物品博弈中的昂贵制裁制度。传统LLM维持的贡献率为69-94%；推理模型（o1，o3系列）的范围为27-63%，明确推理倾向于搭便车。我们的S条件测试代理是否愿意自愿支付效用去惩罚背叛者，或者搭别人的制裁便车。

### 2.6 自上而下的治理  
Bracale Syrnikov 等人（2026（https://arxiv.org/html/2607.08652#bib.bib2））提出了用于监管多代理市场中LLM合谋的治理图，引入了一个监控市场信号的决定性Oracle和一个升级惩罚的控制器状态机。我们的G条件将这一框架适配到市场环境中。

### 2.7 合作韧性  
Chacon-Chamorro 等人（2024（https://arxiv.org/html/2607.08652#bib.bib3））提供了合作韧性的正式定义和一个四阶段测量框架：扰动前基线、扰动影响、适应和恢复。他们发现RL代理处理资源冲击更好，而LLM代理处理社会冲击（例如，对抗性渗透）更好。他们对合作稳定性的操作化影响了我们的社会指标设计和对抗性测试方法论。

## 3 市场环境  
我们将市场设计为一个封闭经济，代理参与**生产**、**贸易**和**消费**的经济链条。这个链条创造了结构性相互依赖：没有代理可以孤立地产生效用，使得重复交换成为福利的唯一途径。该环境被参数化以产生一个清晰的社会困境——代理必须合作才能创造价值，但背叛始终是一种诱人的短期策略。

### 3.1 经济链条：生产、贸易与消费  
市场包含K=3K=3种不同的商品：AA，BB和CC。每个代理拥有一个**生产专长**，只能生产那种商品。经济链条如下进行：

#### 生产。  
每轮，代理决定生产多少单位的专长商品。生产是有代价的：无论商品类型如何，每单位生产成本为1效用。

#### 贸易。  
代理通过双边易货进行商品交换——商品换商品，没有货币。提议者提供一定数量的一种商品，并请求一定数量的另一种商品。对手方可以接受（双方交付）、拒绝（无交换）或**背叛**（拿走提供的商品而不交付自己的一方）。背叛直接将商品从受害者转移给背叛者，使其成为一种以牺牲受害者为代价积累资源的策略。

#### 消费。  
每轮结束时，代理消费它们**需要**的商品——除了自己专长商品之外的所有商品。每消费一单位所需商品可获得+3+3效用。

这个链条创造了结构性的**比较优势**：每个代理从贸易中获得的收益都大于自给自足。生产2单位、每单位交换一单位所需商品并消费两者的代理获得：
每轮净效用 = 3+33+3⏟消费每单位所需商品1单位 - 2×12×1⏟生产成本 = +4+4
没有贸易时，代理生产无法消费的商品：
每轮净效用 = −c≤0−c≤0
其中cc是生产成本，无消费收益。

### 3.2 易腐商品与时间紧迫性  
商品是易腐的：从第2轮开始，每轮开始时，所有持有库存衰减20%。形式上，对于每个代理aa和商品gg：
Ia,gt←⌊Ia,gt−1×(1−ψ)⌋,ψ=0.2Ia,gt←⌊Ia,gt−1×(1−ψ)⌋,ψ=0.2
腐败造成了时间紧迫性：代理不能跨轮囤积商品而不受损失，因此被迫在同一轮内生产和贸易。这防止了代理积累大量库存作为应对背叛的保险，迫使它们反复参与社会困境，而不是退出市场。这一设计的动机来自Chen 等人（2018（https://arxiv.org/html/2607.08652#bib.bib4））。

### 3.3 社会网络与局部性约束  
代理被嵌入一个贸易网络，限制了谁可以直接互动。这个设计反映了人类经济的一个基本现实：个人不能同时与所有人交易。人们与他们认识的人交易——地理邻居、职业联系人、已建立的合作伙伴——而不是与整个群体。通过将每个代理限制在一组固定的邻居中，我们模拟了这种局部性约束，并迫使代理与一组有限的贸易伙伴建立和维护关系，而不是自由切换到群体中的任何对手方。

每个代理连接到7-9个邻居，其中至少3个邻居生产其他两种商品中的每一种，确保对两种所需商品的稳健访问。网络在每次运行中是随机的，但在一次运行内是静态的（除非网络重连机制被激活）。图1（https://arxiv.org/html/2607.08652#S3.F1）说明了局部邻居约束。

AAABBBBCCCC示例焦点代理可访问两种所需商品类型
图1：贸易网络约束。代理只能与邻居沟通和贸易，但每个代理初始时拥有来自两种非专长商品类型的多个邻居。突出显示的示例显示一个Good A代理连接到Good B和Good C生产者，既保留了产生效用的贸易访问权限，又保持了互动的局部性。

### 3.4 沟通渠道  
在所有实验条件下，沟通**始终启用**。两个渠道同时运行：
- • 私人渠道：仅限邻居之间的双边消息。用于贸易谈判、价格信号传递和（可能具有欺骗性的）信息共享。
- • 公共广播：所有代理可见的消息，并带有发送者身份归属。用于全市场公告和警告。

这创造了二阶困境：背叛的受害者必须决定是否广播警告，这有利于市场，但面临个人报复的风险。沟通对于协调是必要的，但对于执行是不够的——自然语言承诺代价低廉且无法验证。

### 3.5 代理群体与轮次结构  
模拟运行N=18N=18个代理（每个生产专长6个），持续T=200T=200轮。每轮通过五个阶