网络拓扑和对手信息在塑造多智能体强化学习系统合作中的作用

# 网络拓扑与对手信息在多智能体强化学习系统合作形成中的作用
来源: https://arxiv.org/html/2608.28977
Seongho Son††thanks:Corresponding author:seong\.son\.22@ucl\.ac\.ukAffiliation:Department of Computer Science, University College LondonAffiliation:UCL Centre for Artificial Intelligence, University College LondonMirco MusolesiAffiliation:Department of Computer Science, University College LondonAffiliation:UCL Centre for Artificial Intelligence, University College LondonAffiliation:Department of Computer Science and Engineering, University of Bologna

###### 摘要

已有若干研究探讨了图拓扑对人工智能体间合作的影响，但现有文献大多聚焦于通过策略模仿来建模智能体的适应过程，这种模仿仅依赖于对手的累积收益。本文研究了每个智能体使用深度强化学习来学习进行二人重复囚徒困境（IPD）的场景。每个智能体在图中表示为一个节点，其邻居构成了它可以交互的对手池。在每个IPD情景中，智能体获得关于其对手的不同类型信息，包括行动历史和对手身份。在不同图拓扑下的实验结果表明，每个节点的邻居数量和平均路径长度是影响合作涌现的主要因素。我们还证明，虽然通过限制对手池的多样性来选择伙伴能促进相互合作，但向智能体提供对手身份信息却会阻碍合作策略的扩散。

关键词：重复囚徒困境；合作；图拓扑；深度强化学习；伙伴选择；状态信息。

## 1引言

人类社会中的大量互动包含利他行为，从献血[1 (https://arxiv.org/html/2608.28977#bib.bib15), 2 (https://arxiv.org/html/2608.28977#bib.bib16)]到投资于早期企业而几乎不期望直接回报[3 (https://arxiv.org/html/2608.28977#bib.bib17)]。类似形式的利他行为也可能在人工智能体之间涌现，智能体可能承担个人成本以使他人受益或为集体结果做出贡献。

如果假设每个个体都是自利的，那么哪些因素会影响他们合作的倾向？多智能体间合作的涌现已经引起了学术研究的广泛关注[4 (https://arxiv.org/html/2608.28977#bib.bib8), 5 (https://arxiv.org/html/2608.28977#bib.bib12)]。社会困境尤其受到广泛研究，因为它们呈现了一种混合动机情境：个人最优选择是自私行事，而社会最优选择是合作[6 (https://arxiv.org/html/2608.28977#bib.bib9), 7 (https://arxiv.org/html/2608.28977#bib.bib11), 8 (https://arxiv.org/html/2608.28977#bib.bib10)]。

强化学习（RL）已被广泛用于建模人工智能体和人类智能体社会的学习动态[9 (https://arxiv.org/html/2608.28977#bib.bib20), 10 (https://arxiv.org/html/2608.28977#bib.bib4), 11 (https://arxiv.org/html/2608.28977#bib.bib22), 12 (https://arxiv.org/html/2608.28977#bib.bib21), 13 (https://arxiv.org/html/2608.28977#bib.bib44), 14 (https://arxiv.org/html/2608.28977#bib.bib41)]。在RL中，智能体通过改变行为以最大化其回报（定义为奖励的折扣和）来进行学习。如果智能体在时间步k获得奖励r_k ∈ R，折扣率记为γ ∈ (0,1]，则回报G定义为 G=∑_{k=0}^∞ γ^k r_k。通过RL，我们可以研究具有不同奖励结构和不同环境信息访问水平的单个智能体的学习行为。智能体周围环境的平稳性对于其性能改善的理论保证至关重要，但多个智能体同时学习会破坏这一平稳性[12 (https://arxiv.org/html/2608.28977#bib.bib21)]。与状态的局部可观察性一样，多智能体环境的这些特性是实现稳定高效训练的主要障碍。尽管诸如[9 (https://arxiv.org/html/2608.28977#bib.bib20), 15 (https://arxiv.org/html/2608.28977#bib.bib31)]等方法尝试通过建模或实际获取智能体对手的信息来解决此问题，但由于可扩展性弱，这些方法可能变得难以处理。另一方面，伙伴选择算法被提出作为一种在分散场景中训练多个RL智能体的方法，使智能体能够学习引导规范的行为并促进合作[10 (https://arxiv.org/html/2608.28977#bib.bib4), 16 (https://arxiv.org/html/2608.28977#bib.bib38), 17 (https://arxiv.org/html/2608.28977#bib.bib39), 13 (https://arxiv.org/html/2608.28977#bib.bib44)]。

将智能体表示为节点的图拓扑提供了一种分析个体间关系并从结构中获取见解的有用方式。已有大量关于使用社会图表示的合作问题的研究方法[18 (https://arxiv.org/html/2608.28977#bib.bib29), 19 (https://arxiv.org/html/2608.28977#bib.bib30), 20 (https://arxiv.org/html/2608.28977#bib.bib19), 21 (https://arxiv.org/html/2608.28977#bib.bib23), 22 (https://arxiv.org/html/2608.28977#bib.bib42), 23 (https://arxiv.org/html/2608.28977#bib.bib27), 24 (https://arxiv.org/html/2608.28977#bib.bib24), 25 (https://arxiv.org/html/2608.28977#bib.bib26), 26 (https://arxiv.org/html/2608.28977#bib.bib25), 27 (https://arxiv.org/html/2608.28977#bib.bib43), 28 (https://arxiv.org/html/2608.28977#bib.bib45), 29 (https://arxiv.org/html/2608.28977#bib.bib46)]。许多现有工作使用基于模仿的学习算法模拟智能体的行为，其中每个智能体以与其累积收益差成比例的概率复制其某个邻居的策略。这种方法使智能体能够采用带来更高收益的策略，同时它需要访问其他智能体收益的信息[20 (https://arxiv.org/html/2608.28977#bib.bib19), 21 (https://arxiv.org/html/2608.28977#bib.bib23), 26 (https://arxiv.org/html/2608.28977#bib.bib25), 18 (https://arxiv.org/html/2608.28977#bib.bib29), 19 (https://arxiv.org/html/2608.28977#bib.bib30)]。强化学习则不依赖此要求，仅使用智能体自身获得的奖励来调整其行为。尽管先前的研究强调了图拓扑对合作涌现的重要影响，但相对较少的研究探讨了它如何塑造基于强化学习的智能体的行为。

在交互过程中，智能体的行为强烈依赖于关于对手的信息。先前的工作研究了声誉在合作涌现中的作用，通常以行动历史的形式呈现[10 (https://arxiv.org/html/2608.28977#bib.bib4), 30 (https://arxiv.org/html/2608.28977#bib.bib7), 31 (https://arxiv.org/html/2608.28977#bib.bib18), 32 (https://arxiv.org/html/2608.28977#bib.bib32)]。智能体可能偏好具有合作行动历史的智能体作为交互伙伴，这可以激励智能体建立合作的声誉。另一方面，暴露其行为信息可能使智能体容易成为背叛型智能体的攻击目标并被利用。智能体的行为也可能受到其交互伙伴身份信息存在于其观察中的影响[33 (https://arxiv.org/html/2608.28977#bib.bib33), 34 (https://arxiv.org/html/2608.28977#bib.bib28), 35 (https://arxiv.org/html/2608.28977#bib.bib34)]。当智能体可以观察到其交互伙伴的身份时，它们可以使用不同的策略。在这种情况下，对某些智能体无条件合作而对其他智能体进行剥削的行为是可能的。在本文中，我们研究了提供身份信息的情况，使得每个个体可以通过解码状态信息与其它个体区分开来。

我们的工作探讨了图拓扑和对手身份如何影响合作的涌现。每个智能体在图中表示为一个节点，并通过进行二人重复囚徒困境（IPD）[4 (https://arxiv.org/html/2608.28977#bib.bib8)]与其邻居交互。我们提供了三种不同类型合成图的实验结果，并表明更长的平均路径长度和更稀疏的图会导致智能体之间更多的相互合作。我们还进行了智能体在IPD之前执行伙伴选择的实验。我们证明，访问更长的对手行动历史允许智能体更准确地辨别对手的战略行为。我们报告了在状态中包含对手身份信息的实验结果，其中合作的涌现受到了阻碍，因为这使得具有背叛策略的智能体能够识别出完全合作的智能体，同时避开报复型智能体，而提供更多的行动历史信息则缓解了这一现象。

## 2图上的重复囚徒困境

### 2.1博弈结构

我们假设群体中的每个智能体表示为无向图 G = (V, E) 中的一个节点 v ∈ V，其中图中的边集表示为 E。每个智能体 i ∈ {1, 2, ..., N} 与另一个节点在其邻居集 N_v = {u | (u,v) ∈ E ∨ (v,u) ∈ E} 中的智能体进行一次交互。在每次交互中，智能体决定合作（C）或背叛（D），并根据囚徒困境（PD）[30 (https://arxiv.org/html/2608.28977#bib.bib7), 4 (https://arxiv.org/html/2608.28977#bib.bib8), 6 (https://arxiv.org/html/2608.28977#bib.bib9), 10 (https://arxiv.org/html/2608.28977#bib.bib4)]的收益矩阵（如表1 (https://arxiv.org/html/2608.28977#S2.T1)所示）获得基于每次交互结果的收益 r。当满足 T > R > P > S 和 2R > T + S 时，该博弈被视为 PD。我们将从行玩家的角度标记 PD 情景中的4种可能交互：(C, C) 为相互合作，(C, D) 为受骗，(D, C) 为诱惑，(D, D) 为相互背叛，其中 (a_i, a_j) 表示行玩家 i 和列玩家 j 的动作对。

我们进一步使用收益-成本比 b:c = 5:1 [8 (https://arxiv.org/html/2608.28977#bib.bib10)]来指定收益之间的关系，其中 R = b - c, T = b, S = -c, P = 0。收益值被平移，使得 R + P = T + S = 0，这使得智能体的初始策略在合作和背叛策略之间均匀分布。收益值被重新缩放，以防止神经网络训练期间的数值不稳定。

表1：(a) 用于囚徒困境情景的一般收益矩阵格式（左）。(b) 用于重复囚徒困境每次交互的收益矩阵（右）。
每个智能体 i 被随机分配一个对手 o ∈ N_i 进行交互。由于对手分配的随机性和图的结构，每个智能体在一轮交互 k 中可能与不同数量的对手交互。我们将每轮中发生的交互索引为 t ∈ {1, ..., N-1}。智能体被提供关于被分配对手的先前行动的信息。对手的行动历史以拼接的 one-hot 向量格式给出，s^i ∈ S_{dil} = R^{2×l}，其中 l 表示行动历史的长度。这被用作智能体进行困境博弈的深度 Q 网络 f_{dil}^i(s^i) [36 (https://arxiv.org/html/2608.28977#bib.bib5)]的状态向量，以选择动作 a^i ∈ A_{dil} = {C, D}。我们使用 l=1，并在运行每种设置100,000轮交互后报告实验结果。

### 2.2合成图

对于随机分配对手的实验，我们使用三种图类型：Erdős-Rényi (ER) [37 (https://arxiv.org/html/2608.28977#bib.bib1)]、Watts-Strogatz (WS) [38 (https://arxiv.org/html/2608.28977#bib.bib2)] 和 Barabási-Albert (BA) [39 (https://arxiv.org/html/2608.28977#bib.bib3)]。对于 ER 图，我们生成连接概率 p_ER 从 U[0.1, 1] 中采样的图。对于 WS 图，我们首先构建一个每个节点有4条边的正则图，然后以概率 p_WS ∼ U[0, 1] 重新连接边。对于 BA 图，我们将每次优先附加添加的边数记为 m ∈ {1, 2, 3, 4}。在 BA 图中，优先附加在初始 m 个节点之后进行。

我们使用上述方法以均匀概率采样参数，为每种类型生成100个图。对于涉及伙伴选择的实验，我们仅使用完全连通的图。对于所有实验，我们使用 N=32 个智能体作为群体。

### 2.3带伙伴选择的IPD

受 [10 (https://arxiv.org/html/2608.28977#bib.bib4)] 启发，我们进行了涉及伙伴选择的案例实验。每个智能体 i ∈ {1,..., N} 有机会使用其伙伴选择模块 η_{sel, π}^i 选择一个伙伴。该模块的输入由图中邻居 (N-1) 个智能体的状态向量拼接而成，S_{sel}^i ∈ R^{(N-1) × d_{dil}}。d_{dil} 表示用于囚徒困境每次交互的状态向量的维度。伙伴选择模块的输出由每个候选对象的选择概率组成，η_{sel, π}^i (S_{sel}^i) ∈ R^{(N-1)}。

对于在涉及伙伴选择的实验中用于进行IPD的状态向量 S_{sel}^i，我们增加了一个选项来提供对手的身份。对手的索引 o ∈ {1,..., i-1, i+1,..., N} 以二进制编码格式提供。例如，在具有32个智能体的群体中，索引号为13的对手将表示为 01101_2。当包含对手身份时，这使得 d_{dil} = 2×l + ⌈log_2 N⌉。我们运行了6种不同设置的实验，其中对于相同的 l ∈ {1, 5, 10} 值，两种设置中只有一种在困境博弈的状态 s 中包含对手身份。每种设置使用20个不同的随机种子运行，每次运行包含200,000轮交互。

## 3强化学习实现

### 3.1进行IPD

本实验使用的学习算法是深度 Q 学习 [36 (https://arxiv.org/html/2608.28977#bib.bib5)] 的一个变体。深度 Q 学习使用神经网络来估计最优动作-值函数 Q*。当智能体使用策略 π 选择动作 a_t 并获得该动作的奖励 r_t，且折扣率为 γ 时，Q*(s_t, a_t) = max_π E[∑_{j=0}^∞ γ^j r_{t+j} | π]。每个智能体都配备一个