双人零和不完美信息博弈中的策略表示学习探索

# 面向二人零和不完美信息博弈中策略表示的学习研究
来源: https://arxiv.org/html/2607.01498

\\optauthor\\Name

Kevin Wang\*\\Emailkevin\_a\_wang@brown\.edu \\NameKevin Yang\*\\Emailkevin\_c\_yang@brown\.edu \\NameArjun Prakash\\Emailarjun\_prakash@brown\.edu \\NameAmy Greenwald\\Emailamy\_greenwald@brown\.edu \\addr 布朗大学

\*同等贡献。

###### 摘要

我们研究了在二人零和不完美信息博弈中学习有用策略表示（嵌入）的问题。我们做出了三项贡献：首先，我们提出了为给定博弈创建策略数据集的方法。其次，我们提出了学习策略表示的方法。第三，我们引入了下游任务来评估此类表示的有效性。

我们在 Kuhn 扑克和 Leduc 扑克上评估了每种数据集方法、嵌入方法和下游任务。尽管我们的方法非常基础，但我们证明了所学嵌入中存在有用的行为表示。据我们所知，这项工作是首批系统比较自监督学习技术以学习博弈中策略表示的研究之一。我们的代码可在 \url{https://github.com/VitamintK/ssl-project} 获取，供他人扩展。

## 1 引言

在二人零和不完美信息博弈中，智能体可以从推理对手的策略以及自身的策略中获益。通常，此类博弈中的策略是随机的。111相比之下，在单智能体或完美信息设置中，推理单个动作通常就足够了——例如国际象棋和围棋中的前瞻搜索。

例如，一个试图在扑克牌局中某个决策点玩纳什均衡的智能体，可能会通过想象每个玩家都执行某个策略几步，然后评估由此产生的公共信念状态，来执行前瞻搜索。这种深度受限搜索通常以表格形式进行222例如，使用反事实后悔最小化或线性规划 [Sokota et al. (2021)](https://arxiv.org/html/2607.01498#bib.bib21), [Brown et al. (2020)](https://arxiv.org/html/2607.01498#bib.bib2)，这是可行的，因为这种深度受限策略的规模是可处理的。然而，在具有更大公共信念状态的博弈中，枚举这样的策略变得难以处理。因此，为了执行此类搜索的变体，智能体需要使用策略的紧凑表示进行推理。

因此，我们希望学习好的、紧凑的策略表示。然而，现有研究对此目标的探索很少，尤其是在二人零和不完美信息博弈的背景下。现有的策略嵌入学习方法或方法之间的比较很少。为了比较方法，我们还需要一套广泛的评估，而这目前还不存在。

在这项工作中，我们开始对学习策略的紧凑、有用表示的问题进行广泛、系统的方法研究，特别是在二人零和不完美信息博弈中。我们特别关注允许将嵌入解码为策略的方法以及能够预测未来收益的表示。

我们分三部分进行：

1. 1.我们介绍了为给定博弈创建策略数据集的三种方法。（第 3.1 节 (https://arxiv.org/html/2607.01498#S3.SS1)）
2. 2.我们提出了几种不同复杂度的学习策略表示的方法。我们还重新实现了一个现有方法。（第 3.2 节 (https://arxiv.org/html/2607.01498#S3.SS2)）
3. 3.我们引入了几个下游任务来评估策略表示的有用性，并使用它们来评估这些方法。（第 3.3 节 (https://arxiv.org/html/2607.01498#S3.SS3)）

## 2 预备知识

#### 不完美信息博弈

不完美信息博弈（IIG）是指每个玩家可能不知道世界真实状态的博弈。二人零和博弈是指有两个玩家，且玩家的收益总和为 0 的博弈。形式上，IIG 由元组给出 [Rudolph et al. (2025)](https://arxiv.org/html/2607.01498#bib.bib19)]：⟨S,A,O,I,R,T,O,C,tmax⟩, 其中 S 是博弈状态空间，A 是动作空间，O 是观测空间，I=∪t(O×A)t×O 是信息集空间。奖励函数由 R:S×A→R 给出，T:S×A→Δ(S) 是转移函数。决定给行动玩家哪个观测的观测函数是 O:S→O，C:S→{1,2} 是决定行动玩家的选择函数，tmax 是博弈结束的时间步。玩家使用策略 πi:I→Δ(A) 与博弈交互，其中 i∈{1,2}，该策略将信息集映射到动作上的分布。玩家 1 的目标是最大化期望收益：J=Eπ[∑_{t=0}^{tmax} R(s^t, a^t)]，其中 s^t∈S 和 a^t∈A 是在时间 t 的状态和动作。

#### 相关工作

为节省篇幅，我们在附录 L (https://arxiv.org/html/2607.01498#A12) 中详细描述相关工作。

## 3 方法

### 3.1 生成策略数据集的方法

为了学习和评估策略的表示，我们需要一个策略数据集。我们提出了三种生成此类数据集的方法：

在我们的第一种方法中，我们简单地随机初始化策略神经网络，产生一个行为上不同的智能体的多样化群体。我们对神经网络的参数使用自定义初始化，因为 PyTorch 的默认初始化会产生行为同质的策略（附录 A (https://arxiv.org/html/2607.01498#A1)）。

我们为博弈生成多样化策略集的第二种方法是运行策略空间响应或算法 [PSRO] [Lanctot et al. (2017)] (https://arxiv.org/html/2607.01498#bib.bib9)，这是一种迭代训练对其他策略混合体的最佳响应以产生不断扩大的策略池的方法。

我们为博弈生成多样化策略集的第三种方法是运行一种变体的神经群体学习 [NeuPL] [Liu et al. (2022)](https://arxiv.org/html/2607.01498#bib.bib12), [Liu et al. (2024)](https://arxiv.org/html/2607.01498#bib.bib13)，这与 PSRO 相同，但所有策略共享同一个条件神经网络。在训练网络（即多个智能体）之后，我们从其潜在嵌入空间中采样以生成新的策略群体。

### 3.2 学习嵌入的方法

在这里，我们介绍几种学习代表策略的向量嵌入的方法。我们提出的一些方法简单朴素，另一些则相对复杂。我们假设策略是策略神经网络。在这项工作中，我们使用具有 3 个大小为 256 的隐藏层的 MLP 作为策略神经网络，并在需要时通过 PPO [Schulman et al. (2017)](https://arxiv.org/html/2607.01498#bib.bib20)] 进行训练。

#### 权重自编码器

第一种朴素的方法是对策略神经网络的权重进行自编码。333这里，我们将神经网络的所有参数（包括权重和偏置）通俗地称为“权重”。权重自编码器（图 2 (https://arxiv.org/html/2607.01498#S3.F2)）将策略权重的展平向量作为输入，并从瓶颈层重建权重。给定编码器 fφ:Rd→Rk 和解码器 gψ:Rk→Rd，我们得到嵌入 z=fφ(W) 并最小化重建损失：

LWAE = ‖W - gψ(fφ(W))‖₂²。

虽然从某种意义上说，策略就是它的参数向量，这使得权重自编码器成为一个自然的基线，但我们假设这种方法效果会很差：行为难以从原始权重预测，并且大的输入/输出维度要么迫使自编码器大得难以处理，要么导致瓶颈过于压缩。

我们注意到解码器是一个超网络 [Ha et al. (2016)](https://arxiv.org/html/2607.01498#bib.bib6)。在这项工作中，我们只是使用一个 MLP 作为自编码器。然而，最先进的超网络架构可能会使此类方法更加可行 [Chauhan et al. (2024)](https://arxiv.org/html/2607.01498#bib.bib3)。

参照标题

图 1：权重自编码器
参照标题
图 2：轨迹编码器

#### 函数编码器

函数编码器444图见附录 B (https://arxiv.org/html/2607.01498#A2) 使用与权重自编码器相同的编码器-解码器架构，但不是直接重建权重，而是在随机采样的信息状态 I∼I 上评估原始网络和重建网络。让 Ŵ = gψ(fφ(W)) 表示重建的权重。损失最小化动作分布之间的 KL 散度：

LFAE = E_{I∼I}[ DKL( πW(·|I) ∥ πŴ(·|I) ) ]。

通过这种方式，自编码器重建的是原始网络的*行为*，而不是权重本身。

#### 轨迹编码器

为了捕捉策略的行为语义而不是其内部网络架构，我们使用轨迹编码器（图 2 (https://arxiv.org/html/2607.01498#S3.F2)），该编码器通过受 SimCLR 启发的对比学习进行训练 [Chen et al. (2020)](https://arxiv.org/html/2607.01498#bib.bib4)。轨迹 τ=(o₀, a₀, r₀, ..., o_T, a_T, r_T) 是通过将策略与从群体中随机采样的对手对抗执行 rollout 收集的。编码器 hφ 将可变长度的轨迹映射到固定维度的潜在空间：z = hφ(τ)。

对于 N 个策略的小批量，我们为每个策略采样两条轨迹（对抗不同的对手），总共生成 2N 个嵌入。令 zi 和 zj 为正对（来自同一策略的两条轨迹）。我们优化归一化温度缩放交叉熵损失（NT-Xent）：

LNT-Xent = -1/(2N) ∑_{(i,j)} log( exp(sim(zi, zj)/t) / ∑_{k=1, k≠i}^{2N} exp(sim(zi, zk)/t) )，

其中 sim(·,·) 表示余弦相似度，t 是温度参数。该目标确保嵌入对随机环境噪声具有不变性，同时能够区分策略意图。

与之前的方法一样，这允许我们嵌入给定的策略。此外，我们可以仅通过访问其轨迹来学习和创建任意策略的嵌入，而无需了解神经网络的内部结构，也无需策略必须是神经网络。与其他方法不同，这并没有直接为我们提供将嵌入转换为策略的方法。

参照标题

图 3：NeuPL 风格的条件策略网络

#### NeuPL 风格的条件嵌入

训练 NeuPL 会诱导出一个嵌入空间，其中任何向量都可以通过条件网络解码为策略（图 3 (https://arxiv.org/html/2607.01498#S3.F3)）。与其他方法不同，这是联合生成群体和嵌入，而不是事后进行。

#### Grover 等人的编码器

遵循 Grover 等人 (2018 (https://arxiv.org/html/2607.01498#bib.bib5)) 的方法，我们实现了一个混合生成-判别基线，从回合数据中学习策略嵌入。一个 MLP 编码器 fθ 处理单个（观测值，动作）对，并在整个回合中平均得到的向量以形成嵌入 z = 1/T ∑_{t=1}^T fθ(o_t, a_t)。一个条件策略网络 πφ,θ(a|o, z) 根据给定的观测值和嵌入预测智能体的动作。该模型使用混合损失进行训练，该损失结合了模仿（行为克隆）项和基于三元组的智能体识别项。它在架构（Transformer vs. 具有均值池化的 MLP）和训练目标（对比 NT-Xent vs. 混合模仿和三元组识别）上都与轨迹编码器不同。

#### 表格基线

作为一个非学习的基线，我们通过查询策略网络来计算每个智能体在博弈中每个信息状态下的完整动作分布。将这些分布连接起来，得到一个固定维度的向量，完整描述了该策略的行为。这种表格表示不需要训练。

#### 身份基线

我们还可以测试直接使用神经网络权重而不将其嵌入到更低维度表示的有用性。对于某些任务，这种非常高维的表示代价太高而难以处理。

参照标题

(a) 轨迹编码器嵌入
参照标题
(b) 权重自编码器嵌入

图 4：Kuhn 扑克中 1000 个随机智能体的 t-SNE 嵌入可视化，然后根据攻击性水平（下注/加注频率）着色。使用轨迹编码器，攻击性策略（红色，顶部）与被动策略（蓝色，底部）被清晰分开。使用权重自编码器，没有出现这种模式。

### 3.3 下游任务

在本节中，我们引入一组下游任务来评估策略表示的有用性。详细描述见附录 M (https://arxiv.org/html/2607.01498#A13)。

任务 A (收益预测 vs. 均匀随机)。给定一个策略的嵌入，线性预测器能在多大程度上预测该策略对抗均匀随机对手的期望收益？

任务 B (收益预测：策略 vs. 策略)。给定玩家 1 策略和玩家 2 策略的嵌入，线性预测器能在多大程度上预测这两个策略的期望收益？

任务 C (可剥削性预测)。给定一个策略的嵌入，线性预测器能在多大程度上预测对手对该策略的最佳响应的收益？我们精确计算真实的最佳响应值，因为这是我们使用的博弈足够小。

任务 D (零样本最佳响应)。对于给定的玩家 1 策略 π₁ 及其嵌入 z₁，我们训练一个零样本最佳响应器，该响应器在给定 z₁ 的情况下，逼近对 π₁ 的最佳响应。