通过参考策略引导正则化自我对弈中的均衡选择

# 通过参考策略引导正则化自博弈中的均衡选择
来源：https://arxiv.org/html/2609.19820
###### 摘要

正则化自博弈——DeepNash 大师级 Stratego 对弈背后的算法家族——通过反复对一个缓慢移动的、熵正则化的*参考*策略 ρ\rho 进行最优响应，将双人零和策略驱动到纳什均衡。当博弈具有一个价值等价纳什均衡构成的多面体时，正则化器会悄然打破平局；采用均匀参考策略时，它会选择最大熵成员。先前的研究已确定了*哪一个*成员被选中——参考策略在多面体上的 I-投影。目前仍有两个问题悬而未决：该机制是否可以被有意利用？神经网络骨干是否会扭曲它？本文提出建设性问题——*能否利用参考策略有意选择均衡？*——并在五个可解博弈（加上一个二维多面体）上对其答案进行刻画，其中整个纳什集和精确最优响应是已知的，并使用了 Bootstrap 置信区间、等效检验和基于独立种子的非参数假设检验。我们发现了一个强有力的、可用的结果：将参考锚定在目标成员并运行普通的精炼过程，能将自博弈引导至该成员，在中位可利用性为 5×10⁻⁵ 时，平均坐标误差为 0.007（95% CI [0.002, 0.015]）；TOST 检验（p=3×10⁻¹⁰）确立了在 ±0.05 范围内与所请求成员的等效性；这种锚定在精炼过程中*持续存在*而非退回到最大熵状态；并且引导遵循参考策略而非策略初始化。所选成员近似遵循 ρ\rho 在多面体上的达到加权信息投影（I-投影）（回归斜率 0.969，95% CI [0.950, 0.987]；平均残差 0.012，在投影读取下减半至 0.004）。我们也同样强调地报告了清晰叙事失效之处：一个*固定*的流形外参考仅能以显著的可利用性代价（0.08–0.25）换取引导能力；在先前研究的求解器默认设置下，刚性或平坦纳什族上的动态未能收敛或沿族广泛发散，因此那里的选择实验需要一个更小的镜像步长，此处通过预注册的仅基线规则选择；即便如此，引导进入最刚性族的边界区域也会不足；一个关于引导精度的曲率假设仅在退化意义上成立：在跨越十倍曲率范围的五个博弈中，曲率预测了*边界饱和*发生的位置（秩相关 ρ=0.90，p=0.037），但内部引导精度与曲率无关（斜率全程为 0.99–1.00）。架构测试解决了一个先前有所保留的论断：表格和 MLP 引导映射在每个目标处统计上*等效*，差异在 ±0.03 内（30 个种子）；一个不匹配的注意力臂可检测到偏离（≤0.043，具有符号结构，接近族边界），但容量和步长匹配的控制臂表明，该机制的稳健特征是*超额种子方差*（Brown–Forsythe p=8×10⁻⁴；是 MLP 的 1.6 倍），且任何匹配的系统性偏移在每个目标上都被限制在 ≤0.018 内，并且在多重比较校正后不显著——并且在 8/9 个目标上匹配比较与 MLP 等效。最后，经常被声称的选择-鲁棒性权衡，相对于最优响应是*退化*的：每个多面体成员都是精确均衡，因此对抗最优对手共享相同的博弈值（前沿范围 1×10⁻⁴），所以引导仅改变对抗*固定的、非均衡*对手时的表现。我们提炼了一个实用配方——将参考初始化在期望成员上并进行精炼——并将其与信赖域和 RLHF 风格强化学习中使用的 KL-参考锚联系起来，后者中的该项通常被设定为稳定锚而非选择旋钮。

## 1引言

正则化自博弈（R-NaD (Pérolat et al., 2021 (https://arxiv.org/html/2609.19820#bib.bib13))；磁镜下降 (Sokota et al., 2023 (https://arxiv.org/html/2609.19820#bib.bib16))；DeepNash (Pérolat et al., 2022 (https://arxiv.org/html/2609.19820#bib.bib14)) 的学习规则）的一个定义性特征是，熵或 KL 正则项将学习策略拉向一个缓慢移动的*参考*策略 ρ\rho。这个项通常被论证为一种收敛装置：它将朴素自博弈的循环 (Mertikopoulos et al., 2018 (https://arxiv.org/html/2609.19820#bib.bib11); Bailey & Piliouras, 2018 (https://arxiv.org/html/2609.19820#bib.bib1)) 转化为对纳什均衡的最后迭代收敛。但在任何纳什均衡构成一个正维度价值等价策略多面体的博弈中，收敛并非全部故事——*必须存在某种机制*来选择动态最终落在哪个成员上。采用均匀参考时，该机制会选择最大熵成员，即均匀分布到多面体上的 I-投影 (Csiszár, 1975 (https://arxiv.org/html/2609.19820#bib.bib3); Jaynes, 1957 (https://arxiv.org/html/2609.19820#bib.bib6))；Leal (2026a) (https://arxiv.org/html/2609.19820#bib.bib8) 通过实证确立了正则化自博弈在零和纳什多面体上确实执行了这种选择，并将其刻画为参考策略的 I-投影。该工作是表格化的；在函数逼近下，策略是一个共享参数的映射而非每个信息集自由的表格，因此对于神经部署的一个自然先验担忧是，骨干网络的归纳偏置可能会扭曲选择。我们直接在实验中处理这个担忧（第 5.5 节 (https://arxiv.org/html/2609.19820#S5.SS5)），使用了容量和步长匹配的臂，发现骨干网络的稳健影响仅限于超额种子方差，任何系统性偏移都远低于正则化器自身的位移；一阶选择机制是参考策略本身。本文将这一事实转化为一个建设性工具。如果参考决定了选择，那么*塑造参考策略应能让我们选择均衡*。Leal (2026a) (https://arxiv.org/html/2609.19820#bib.bib8)（§4.9）中的初始参考扫描已经表明选择是*锚点跟随*的——在一个博弈中随参考策略方向移动——并将 I-投影刻画作为一个猜想提出。在此，我们将该观察转化为一个定量引导工具：我们在具有闭式解的博弈中直接测试它，将 ρ\rho 作为控制旋钮，这些博弈中完整的纳什多面体、其最大熵成员和精确最优响应都是可用的，因此每个声明都可以精确到四位小数——并且，在这个修订版本中，每个头条数字都带有种子-Bootstrap 置信区间，每个分类声明都有假设或等效检验。

#### 贡献\。

- •我们证明正则化自博弈是*可控的*：将参考锚定在目标成员并精炼，能将动态引导至该成员，在五个博弈中，平均坐标误差为 0.007 [0.002, 0.015]，中位可利用性为 9×10⁻⁵，通过 TOST 检验确立了在 ±0.05 边际内与所请求成员的等效性；锚定在精炼过程中*持续存在*；一个新的控制实验证明引导遵循参考策略而非初始化（第 5.2、5.4 和 5.11 节 (https://arxiv.org/html/2609.19820#S5.SS2, https://arxiv.org/html/2609.19820#S5.SS4, https://arxiv.org/html/2609.19820#S5.SS11)）。
- •我们检验了所选成员是 ρ\rho 的达到加权 I-投影的猜想，并发现它*近似*成立（回归斜率 0.969 [0.950, 0.987]，R²=0.993，75 个配置上的平均残差 0.012），并划定了其严格与宽松的区间（第 5.3 和 5.6 节 (https://arxiv.org/html/2609.19820#S5.SS3, https://arxiv.org/html/2609.19820#S5.SS6)）。
- •我们对架构不变性问题进行了等效检验：表格和 MLP 引导映射在每个目标处等效，差异在 ±0.03 内，而注意力骨干在族边界附近可检测到偏离但有界，既有额外方差也有小的系统性偏移——纠正了先前工作中仅归因于方差的论断（第 5.5 节 (https://arxiv.org/html/2609.19820#S5.SS5)）。
- •我们刻意突出地报告了清晰叙事失效之处：在先前工作的求解器默认设置下，刚性或平坦纳什族上的动态未能收敛或沿族发散，单次种子运行可能侥幸落在最大熵成员附近（第 5.1 节 (https://arxiv.org/html/2609.19820#S5.SS1)）；即使步长适当，引导进入最刚性族的边界区域也会不足（第 5.2 节 (https://arxiv.org/html/2609.19820#S5.SS2)）；一个关于引导精度的曲率依赖假设在五个博弈中不存在（第 5.7 节 (https://arxiv.org/html/2609.19820#S5.SS7)）；并且最坏情况下的选择-鲁棒性权衡是退化的，因为所有成员对抗最优响应共享相同的博弈值（第 5.8 节 (https://arxiv.org/html/2609.19820#S5.SS8)）。
- •我们给出了一个实用配方，并将其与信赖域和 RLHF 风格强化学习中的 KL-参考锚联系起来，将该项重新构建为一种选择机制，而不仅仅是稳定器（第 6 节 (https://arxiv.org/html/2609.19820#S6)）。

## 2背景

#### 纳什多面体与选择\。

在一个具有完美回忆的双人零和扩展式博弈中，纳什均衡构成一个所有成员都达到博弈值的凸策略多面体 (Robinson, 1951 (https://arxiv.org/html/2609.19820#bib.bib15))。当这个多面体是正维度时，学习规则的极限点是在价值等价均衡中的一个真正选择。经典选择理论 (Harsanyi & Selten, 1988 (https://arxiv.org/html/2609.19820#bib.bib4)) 和量化响应 (McKelvey & Palfrey, 1995 (https://arxiv.org/html/2609.19820#bib.bib10)) 通过扰动打破平局；最大熵原则 (Jaynes, 1957 (https://arxiv.org/html/2609.19820#bib.bib6)) 和信息投影 (Csiszár, 1975 (https://arxiv.org/html/2609.19820#bib.bib3)) 提供了本文使用的熵视角，Leal (2026a) (https://arxiv.org/html/2609.19820#bib.bib8) 确立了该视角决定了正则化自博弈选择哪个多面体成员，而遗憾平均求解器则漂移到更低熵的面上。

#### 正则化自博弈\。

反事实遗憾最小化 (Zinkevich et al., 2007 (https://arxiv.org/html/2609.19820#bib.bib18); Tammelin, 2014 (https://arxiv.org/html/2609.19820#bib.bib17)) 解决了单挑有限注德州扑克 (Bowling et al., 2015 (https://arxiv.org/html/2609.19820#bib.bib2))。添加朝向移动参考策略的熵/KL 磁力会产生最后迭代收敛 (R-NaD (Pérolat et al., 2021 (https://arxiv.org/html/2609.19820#bib.bib13))；Sokota et al. (2023) (https://arxiv.org/html/2609.19820#bib.bib16) 的统一视角；神经复制动态 (Hennes et al., 2020 (https://arxiv.org/html/2609.19820#bib.bib5))），并构成了 DeepNash (Pérolat et al., 2022 (https://arxiv.org/html/2609.19820#bib.bib14)) 的基础。NashPG (Yu et al., 2026 (https://arxiv.org/html/2609.19820#bib.bib12)) 是一个最近的策略梯度实例。在所有这些方法中，参考策略通常会被*精炼*：固定一个时期，然后重置朝向当前策略。

#### 我们检验的选择规则\。

对于*固定*参考 ρ\rho 和磁力强度 η\eta，正则化固定点在博弈值与 KL(σ∥ρ) 之间权衡；当 η→0 时，极限接近一个纳什均衡，并且在均衡中，最接近 ρ\rho 的是达到加权 KL 下的成员——即 I-投影 ΠN(ρ)=argminσ∈NKLreach(σ∥ρ)。当 ρ\rho 均匀时，KL(σ∥uniform)=const−H(σ)，恢复了最大熵成员，这是 Leal (2026a) (https://arxiv.org/html/2609.19820#bib.bib8) 通过解析真实数据验证的 R-NaD/MMD 的选择。我们的核心猜想——Leal (2026a) (https://arxiv.org/html/2609.19820#bib.bib8) 的猜想 1，本文进行*建设性*检验，使用经过塑造而非均匀的参考——是 csel≈ΠN(ρ) 普遍成立，使得 ρ\rho 成为一个引导旋钮。

## 3设置与方法

#### 隔离与精确基准真值\。

我们使用那些纳什族可由坐标 c 解析参数化的博弈，其反事实值、达到概率、熵和可利用性（Nash-conv，双方玩家最优响应收益的精确总和）通过树遍历精确计算。Kuhn 扑克 (Kuhn, 1950 (https://arxiv.org/html/2609.19820#bib.bib7)) 有一个由 jack 诈唬概率 c 索引的单参数族（博弈值 -1/18 给玩家 0）。四个矩阵博弈完善了该套件：asym_safe 和 pennies_safe 具有高熵轮廓曲率 κ 和低熵轮廓曲率 κ 的单参数纳什族；dup_action 通过重复动作将族放在*最小化*玩家的一侧；two_safe 带有一个二维纳什集，我们引导其偶分割切片，由总安全概率质量参数化。polytope4 有一个真正的*双*参数纳什族 (p₀, p₂)，用于二维实验和验证。这五个一维博弈共同跨越了十倍的曲率范围（κ≈2.0–20.1），并将被引导的族置于任一玩家的一侧。表 1 (https://arxiv.org/html/2609.19820#S3.T1) 列出了基准真值数量。

表 1：基准真值。c⋆：最大熵坐标；κ：峰值处的熵轮廓曲率。对于 polytope4，最大熵点是 (p₀⋆, p₂⋆) = (0.161, 0.256)。对于 two_safe，完整的纳什集是二维的；我们参数化并引导其偶分割切片，其坐标（总安全概率质量）是被读出的数量。

#### 参考族\。

参考策略是完整的每个信息集策略，构建方式如下：(i) *均匀*（基线→最大熵）；(ii) *目标成员* ρ=member(ctarget)，流形上的参考；(iii) *流形外混合* ρ=αuniform+(1−α)member(c)；(iv) *专家*（在选定的专家坐标处的成员）；(v) *风险塑造*（朝向安全动作的倾斜）。一个精确的*I-投影预言机*返回 argmincKLreach(member(c)∥ρ) 在族上，用作理论预测；其达到权重被归一化为和为 1，我们验证归一化在我们的参考网格上永远不会改变预言机的 argmin（附录 B (https://arxiv.org/html/2609.19820#A2)）。

#### 三种情况\。

参考策略以三种不同方式参与，实验将其分开处理：(R1) *固定参考在目标成员处*；(R2) *锚定在目标成员处的精炼参考*（标准的 R-NaD 精炼，但在锚点初始化）；(R3) *固定流形外参考*。情况 R1/R2 产生接近纳什的策略；R3 产生一个正则化固定点，其可利用性随参考策略距离多面体的远近而增长。

#### 测试环境与报告\。

一个拟合目标的神经 R-NaD 每次迭代计算精确的表格磁镜下降目标并拟合该