HiComm：面向多智能体强化学习的分层通信

# HiComm：面向多智能体强化学习的层级化通信

来源：https://arxiv.org/html/2606.29126

Runze Zhao¹  Dongruo Zhou¹  Sumit Kumar Jha²  Nathaniel D. Bastian³  Ankit Shah⁴

¹印第安纳大学伯明顿分校卢迪信息学、计算与工程学院，伯明顿，IN 47408  
²佛罗里达大学计算机与信息科学与工程系，盖恩斯维尔，FL 32611  
³美国陆军军官学院电气工程与计算机科学系，西点，NY 10996  
⁴印第安纳大学伯明顿分校运营与决策技术系，伯明顿，IN 47405

###### 摘要

合作多智能体强化学习（MARL）通常依赖通信来缓解部分可观测性问题，但大多数现有协议将消息视为与所总结观察结构脱节的扁平化稠密向量。这种设计忽略了许多合作环境中一个重要的归纳偏置来源：观察天然遵循层级结构，例如组和实体。我们提出 **HiComm**，一种将消息嵌入发送者层级化观察的即插即用通信模块。**HiComm** 采用接收者驱动机制：接收者发起查询，通过三阶段解码过程解析层级结构——先选择组，再选择发送者，然后选择该组内的实体，最后将对应的特征切片作为消息返回。这使通信从非结构化向量传输转变为对发送者观察层级进行结构化信息检索。我们利用直通式Gumbel-Softmax实现可微分的离散选择，并采用轻量级共享投影设计，可无缝集成到标准MARL流水线中。在具有不同观察结构和协调需求的合作MARL任务上的实验表明，**HiComm** 能够匹配或超越代表性学习通信基线，同时将每个接收者每回合的通信量降低多达 **23×**。

## 1 引言

合作多智能体强化学习（MARL）研究的是，当每个智能体仅能观测到环境的一部分时，分散化智能体团队如何共同最大化共享回报。与单智能体RL相比，合作MARL的核心挑战源于部分可观测条件下的多智能体协作：每个智能体必须基于其局部观测做出决策，而有效协调所需的信息可能分布在队友之间。通信为解决这一瓶颈提供了自然机制。通过交换先前观测到的信息，智能体可以避免仅从队友动作推断隐藏状态，减少对联合状态空间的冗余探索，并以更少的环境交互学习到协调策略[31, 6, 11, 2, 8]。本文重点关注观测具有**丰富层级结构**的合作环境。一个代表性示例是网络防御场景，如CAGE Challenge 4环境[13, 12]。在此类设置中，主机被组织成子网，智能体可能仅观测到其负责的主机或子网，有效协调需要跟踪整个系统中的活动。在企业级规模下，拥有数千个资产和快速演变的事件，这种协调必须既高效又可扩展。这些约束同样适用于协调的攻击者（红队），它们也面临类似的部分可观测性和分散化控制；因此，有效的红队评估依赖于能够捕捉这些局限性同时实现连贯多智能体行为的通信机制。

然而，设计能高效利用这些层级化观察结构的通信协议仍具挑战。现有通信方法大多将消息视为扁平对象：发送者通常将其局部观测编码为固定宽度向量，接收者消费该向量时并不显式索引底层观测的结构。另一相关研究方向探索了通信其他部分的层级化：封建式架构将智能体群体分层为管理者和工人[1, 21]，而聚类或基于顺序的协议在通信图或消息传递调度上施加层级[26, 20]。然而，这些方法均未根据发送者观察的层级来组织消息体。因此，许多合作环境中一个现成的结构信息源未被利用。

我们通过 **HiComm** 弥补这一空白，它是面向合作MARL的通信模块，将每条消息锚定在发送者的层级化观察中。该模块采用接收者驱动机制：接收者先发起查询，通过三阶段解码过程解析层级结构。具体地，接收者先选择组，再选择发送者，然后被寻址的发送者在其自身观测中选择该组内的实体，并返回对应的特征切片作为消息。通过这种方式，**HiComm** 将通信从传输非结构化稠密向量转变为从发送者观察层级中检索结构化信息。

我们的贡献如下：

- • 我们提出 **HiComm**，一个即插即用通信模块，适用于观测具有天然组-实体层级的合作MARL场景。**HiComm** 不传输非结构化稠密向量，而是让接收者查询选定发送者观察层级中的组-实体位置，发送者返回对应的特征切片作为消息。
- • 我们将这种层级化查询-响应机制实例化为一个可微分且轻量级的模块。**HiComm** 使用直通式Gumbel-Softmax进行离散的组、发送者和实体选择，在层级编码器间共享单个投影头，并保持接收者查询的紧凑性，使其能够连接到标准MARL训练流水线而不改变底层策略或评判器架构。
- • 我们在具有不同观察结构和协调需求的合作MARL任务上实证验证了 **HiComm**。作为附加通信模块，**HiComm** 在匹配或超越代表性学习通信基线的同时，将每个接收者每回合的通信量降低多达 **23×**。

## 2 相关工作

部分可观测条件下合作MARL长期依赖智能体间通信[6, 31]，先前工作在三个维度上不断改进。在**消息内容**上，NDQ[33]、VBC[39]和TMC[40]正则化消息使其简洁；MAIC[37]和CACOM[17]根据目标接收者的模型调节每个发送者的投影。在**调度**上，IC3Net[28]和ATOC[11]让智能体自行决定是否沉默；SchedNet[14]和SeqComm[4]优先或排序团队中的通信者；Who2com[19]和When2com[18]使用多阶段握手：接收者请求，候选发送者返回简短匹配分数，接收者最终连接最佳匹配的同伴。在**消息整合**上，TarMAC[2]和SARNet[23]应用接收者端对传入消息的软注意力；MASIA[7]使用置换不变的自监督目标聚合队友嵌入；T2MAC[32]在不确定性下权衡证据；CoDe[29]将意图与及时性对齐以实现延迟鲁棒的协作。

另一并行研究方向学习路由图本身：DGN[10]对多头注意力图进行卷积；DICG[16]通过自注意力推断隐式邻接；CASEC[34]利用回报方差分数稀疏化协调图；MAGIC[22]、CommFormer[8]和TGCNet[41]学习图注意力、可微邻接或动态有向图；G-Designer[38]通过变分图自编码学习任务自适应拓扑。

整个工作存在两个横切属性。首先，协议默认是发送者驱动的：发送者单方面决定编码什么，即使MAIC和CACOM也只是将发送者的投影朝向目标接收者调整，而非让接收者主动查询。其次，信道载荷是发送者观察经过学习（因此有损）的固定宽度向量投影，与观察本身的任何结构解耦；即使Who2com和When2com的握手也只选择**问谁**，而不指定返回发送者观察的**哪一部分**。另一条互补的效率线从消息形式外部攻击带宽：NDQ、VBC和TMC压缩载荷，CASEC和消息剪枝方法稀疏化图，而CommFormer和G-Designer等图学习方法精简边，但都没有改变发送内容的形态。

一部分MARL工作将其机制标记为“层级化”，但层级总是存在于消息体之外。封建式多智能体层级[1]通过子目标信号将智能体池分层为管理者和工人；GMAH[35]在每个智能体策略栈内部保持相同的垂直分解，使用QMIX风格的目标混合网络代替显式信道；HiMPo[21]将这种封建布局与扁平隐藏状态的GNN对等交换相结合。LSC[26]通过选举组领导并在组内和组间传播学习嵌入来层级化路由图；HAMA[24]通过在固定智能体分区上堆叠智能体间和组间注意力层来层级化注意力本身；DHCG[20]通过学习的DAG层级化消息传递顺序，边携带扁平的动作和轨迹嵌入。在所有情况下，层级都位于智能体、注意力、路由、顺序或策略栈上，传输的内容要么是抽象的子目标标记，要么是扁平隐藏状态嵌入，从未针对观察层级本身进行索引。**HiComm** 正是在最后一个维度引入结构：接收者主动发出查询，选择发送者内在的组然后实体分区中的坐标，响应以**逐字**方式交付该坐标处的原始特征向量，用分布内观察条目替代编码器的有损投影（精确载荷形式见第4节）。

## 3 预备知识

##### 带通信的合作MARL。

我们研究具有部分可观测性和可学习通信的合作多智能体任务，形式化为元组 \(\mathcal{M} = \langle S, U, P, Z, O, N, r, \gamma \rangle\)。其中 \(S\) 是全局状态空间，\(U\) 是每个智能体的动作空间，\(N \in \mathbb{N}\) 是智能体数量。转移核 \(P(s' \mid s, \mathbf{u})\) 控制联合动作 \(\mathbf{u} \in U^N\) 下的动力学，函数 \(r: S \times U^N \to \mathbb{R}\) 是团队共享奖励，\(\gamma \in [0,1)\) 是折扣因子。每个智能体通过观测函数 \(O: S \times \{1,\dots,N\} \to Z\) 感知环境，获得局部观测 \(z^i = O(s,i)\)，与同伴交换固定宽度消息 \(m^i \in \mathbb{R}^{d_m}\)，并根据 \(\pi^i(u^i \mid z^i, m^{1:N})\) 选择动作，其中 \(m^{1:N} = (m^1,\dots,m^N)\) 收集每个智能体的消息槽。排除自环时，我们约定自槽消息 \(m^i = \mathbf{0}\)，\(d_m \in \mathbb{N}\) 表示消息带宽。如果观测表示为单个未分组的实体槽列表，所有实体位于同一地址层级，则称观测为**扁平化**。在扁平观测中，哪些实体构成有意义单位必须从训练特征中推断。

##### 层级化观测。

本文考虑**层级化观测** \(z^i\)。我们假设每个智能体的观测是一个三轴层级化张量 \(z^i \in \mathcal{G} \times \mathcal{E} \times \mathcal{F}\)，其中 \(|\mathcal{G}|, |\mathcal{E}|, |\mathcal{F}| \in \mathbb{N}_{>0}\)，并用 \([K] := \{1,\dots,K\}\) 表示大小为 \(K\) 的轴。层级包含以下组成部分：

- • \(\mathcal{G}\) 是粗粒度的**组**轴，索引 \(|\mathcal{G}|\) 个组。
- • \(\mathcal{E}\) 是更细粒度的**实体**轴，索引每个组内的 \(|\mathcal{E}|\) 个实体。
- • \(\mathcal{F}\) 是每个实体的**特征**轴，为每个组-实体对存储特征向量。

因此，条目 \(z^i[g, \ell, :]\) 由组索引 \(g \in [|\mathcal{G}|]\) 和实体索引 \(\ell \in [|\mathcal{E}|]\) 寻址，返回特征向量 \(F := z^i[g, \ell, :] \in \mathbb{R}^{|\mathcal{F}|}\)。这里 \(g\) 和 \(\ell\) 是离散坐标，而 \(F\) 是存储在该坐标处的连续特征向量。划分 \([|\mathcal{G}|] \times [|\mathcal{E}|]\) 由环境提供，而非模型发明。它可能以两种方式出现：

- • 作为**原生层级**，即观测张量已具有独立的组和实体轴；
- • 作为**语义层级**，即可观测的每实体属性诱导出组标签。

此层级构成了本文研究的通信问题框架：给定 \(N\) 个智能体，其观测共同由 \([|\mathcal{G}|] \times [|\mathcal{E}|]\) 索引，能否使每个每回合消息 \(m^i \in \mathbb{R}^{d_m}\) 从环境提供分区中的选定坐标 \((g, \ell)\) 及其特征向量 \(z^i[g, \ell, :]\) 构建，而非从扁平化感官表示构建？