A3M: 自适应、对抗性与多目标学习用于重复拍卖中的战略投标

# A3M：自适应、对抗与多目标学习在重复拍卖中的战略投标
来源：https://arxiv.org/html/2606.28943
Junhan Li 南京大学计算机科学系 & Yuxin Zhang 南京大学计算机科学系 & Haoran Wang 南京大学计算机科学系 & Minghao Chen 南京大学计算机科学系

###### 摘要

在带有赌博反馈的重复多单位拍卖中学习出价是一个基本挑战。现有方法通常依赖于刚性的探索-利用调度，假设敌对者是平稳的，并且仅优化投标者效用，从而限制了适应性和战略鲁棒性。为了解决这些限制，我们提出了A3M框架，该框架集成了自适应深度强化学习（DRL）、显式的对抗推理以及原则性的多目标奖励设计，用于在线拍卖策略优化。A3M采用演员-评论家DRL主干动态平衡探索和利用，一个对手模型用于对抗非平稳对手的虚拟博弈，以及一个复合奖励函数来共同最大化效用、拍卖商收入和公平性。我们首次在歧视性和统一价格拍卖中，对这一集成方法进行了与既有基线的全面实证评估。结果表明，A3M在标准设置中将最终遗憾降低了30-40%，保持了对对抗策略转变的稳健性能，随着单位数量$K$的增加良好扩展，并实现了可调的多目标权衡。一项广泛的消融研究证实了每个核心组件的必要性。我们的工作将A3M确立为一个强大且灵活的框架，用于在复杂拍卖环境中学习。

参见图1标题：本文工作的动机。重复拍卖具有非平稳性、策略对手和多个相互竞争的目标，因此需要一个统一的学习框架，该框架应具有适应性、对抗意识和多目标性。

## 1 引言

统一价格拍卖和歧视性价格拍卖是分配多个相同物品的基本市场机制，广泛应用于电力市场和国库券销售等领域。两者都将物品分配给最高出价者，但在中标者支付方式上存在关键差异，这促使人们对它们的效率、收入和策略属性进行了广泛的理论和实证比较。在重复拍卖中，投标者可以通过在线学习逐渐完善其策略——这一问题被称为“学习出价”——其性能通常通过相对于事后最佳固定出价的遗憾来衡量。这一遗憾框架为量化和比较在不同拍卖格式下最优出价的内在难度提供了一个原则性的视角。

关于重复多单位拍卖中学习的先前工作主要集中在具有对抗性对手出价的设置上。对于统一拍卖和歧视性拍卖，这些研究建立了在完全信息反馈下的最坏情况遗憾率为$\tilde{\mathcal{O}}(\sqrt{T})$，在赌博反馈下的为$\tilde{\mathcal{O}}(T^{2/3})$，这些结果通常都是紧的。然而，对抗性设置将拍卖机制的内在复杂性与面对自适应对手的策略复杂性混为一谈。因此，在*随机*对手模型下——该模型隔离了机制的固有学习难度——对两种拍卖格式进行系统比较仍然是一个未解决问题。

本文通过进行全面的基于遗憾的比较来填补这一空白，比较了重复统一拍卖和歧视性拍卖面对随机对手出价的情况。我们的核心方法论贡献是A3M（自适应、对抗与多目标）框架，该框架脱离了早期的估计-然后-承诺方法。受强化学习最新进展的启发（Song等，2025a；Qi等，2022；Wu等，2020；Tian等，2025），A3M集成了深度强化学习用于自适应策略优化、显式的对手建模用于对抗推理，以及原则性的多目标奖励设计。这种集成架构实现了动态探索-利用平衡和超越平稳独立同分布假设的策略适应。

我们的分析得出了几个关键见解。首先，我们确定在随机设置下，两种拍卖格式在完全信息和赌博反馈下分别具有紧的最坏情况遗憾率$\tilde{\Theta}(\sqrt{T})$和$\tilde{\Theta}(T^{2/3})$。值得注意的是，我们首次为赌博反馈下的统一价格拍卖提供了匹配的下界$\Omega(T^{2/3})$，从而完成了对最坏情况遗憾缩放的表征。其次，在最坏情况分析之外，我们识别并形式化了一系列实例，其中两种机制在可实现遗憾上表现出*分离*。例如，当对手是对称且单位需求时，或者当他们的出价分布良好分离时，统一价格拍卖可以实现$\tilde{\mathcal{O}}(\sqrt{T})$的遗憾，而歧视性拍卖仍停留在$\Omega(T^{2/3})$。（Chen等，2025a；You等，2026；Chen等，2025c；Zhang等，2026a；Zhao等，2026；Huang等，2026；Chen等，2025b）

在经验上，我们证明所提出的A3M框架设立了一个新的最先进的自适应基线，显著优于先前的方法（Qu和Ma，2025；Wu等，2024a,b；Lin，2025b,a,c）。它在标准随机设置中实现了比传统算法更低的遗憾，对非平稳对手表现出更强的鲁棒性，随着单位数量$K$的增加扩展性更好，并且有效利用了简单实例结构（例如$\Delta$-分离分布）。此外，在这些基础工作之上，A3M的多目标奖励设计实现了投标者效用和拍卖商收入之间的可调权衡，超越了现有基线。一项广泛的消融研究确认了每个核心模块——自适应学习、对抗推理和多目标设计——在框架整体性能中的关键作用。（Zhang等，2025b,e,c,d,a；Mo等，2026；Yu等，2026；Zhang等，2026b）

本文其余部分组织如下。第2节回顾相关工作。第3节详细介绍A3M框架。第4节分析带有赌博反馈的学习，包括理论结果和A3M基线。第5节将分析扩展到最坏情况设置之外。第6节提供全面的消融研究。第7节展示额外的实证评估。我们在第8节进行总结。

## 2 相关工作

我们回顾了关于同时拍卖多个相同物品的文献，这是一个标准模型，包括统一价格、歧视性价格和维克里-克拉克-格罗夫斯（VCG）拍卖等格式（Vickrey，1961；Clarke，1971；Groves，1973；Yang等，2025；He等，2025；Zhou等，2025）。对这些机制的实证和理论比较主要集中在它们的收入生成（Ausubel等，2014；Brenner等，2009；Nyborg和Sundaresan，1996；Cao等，2025a,b；Xin等，2025a）和社会福利表现（Krishna，2009；Milgrom，2004；Xin等，2025b,2024；Yu，2025）上，并且对对称和单位需求设置给予了显著关注（Milgrom和Weber，1982；Xiang等，2025；Wang等，2013；Bai等，2025）。

对重复拍卖的研究越来越多地利用在线学习工具来分析动态策略行为（Weed等，2016；Balseiro和Gur，2019；Wei等，2025a；Mu-Jiang-shan等，2010；Wang等，2011）。这一方向的早期工作集中在拍卖商学习最优保留价格的问题上（Kanoria和Nazerzadeh，2021；Pan等，2024；Wang等，2012,2025）。后续研究转向了投标者的视角，引入并分析了在各种重复单物品拍卖格式中“学习出价”的问题（Han等，2024；Feng等，2018；Amin等，2013；Yan等，2025；Niu等，2024a；Wang等，2024b）。在这些基础之上，最近的工作将在线学习扩展到联邦学习和隐私保护设置（Wu等，2022,2024c；Wang等，2023；Zhang等，2025f；Niu等，2024b）。

在重复*多单位*拍卖中学习出价的问题是一个较新的发展。Golrezaei等（2021）；Yu等（2025）；Bi等（2025）为统一价格拍卖提供了初步结果。对于歧视性拍卖，Badanidiyuru等（2021）；Xu等（2025）；Han等（2025）建立了在完全信息和赌博反馈下分别为$\tilde{\mathcal{O}}(K\sqrt{T})$和$\tilde{\mathcal{O}}(KT^{2/3})$的遗憾率。通过现代深度学习技术扩展这些基线，变压器架构和学习技术的最新进展（Song等，2025b；Wu等，2024b；Wei等，2025b；You等，2025）为策略设置中的序列建模开辟了新途径，实现了更好的样本复杂度和自适应性能。特别是，带有显式通道-时间注意力的基于补丁的变压器编码器已被证明可以通过捕获多变量序列中的时间依赖性和变量间（通道间）相关性来改进长期建模。在统一价格拍卖的完全信息设置中，最近的工作（Balseiro等，2017；Wang，2025,2024）推导出了$\tilde{\mathcal{O}}(K^{3/2}\sqrt{T})$的遗憾界，以及次优的赌博结果。对于在最后接受出价（LAB）定价规则下的赌博设置，Ai等（2022）；Wang和Sayil（2024）；Deng（2025）提出了一种算法，实现了$\tilde{\mathcal{O}}(K^{4/3}T^{2/3})$的遗憾，并证明了该速率对于LAB规则是紧的；然而，标准首次拒绝出价（FRB）规则的匹配下界仍然是一个未解决问题。在一个具有投资回报约束的相关设置中，先前的工作获得了统一价格拍卖的$\tilde{\mathcal{O}}(K^{5/3}T^{2/3})$遗憾界。

参见图2标题：A3M算法架构概览。该框架编码拍卖状态，集成自适应学习、对抗推理和多目标优化，并通过在线反馈迭代更新出价策略。

## 3 A3M框架

我们提出A3M框架，这是对重复拍卖中传统估计-然后-优化方法的范式转变。A3M集成了深度强化学习（DRL）用于自适应在线策略优化，通过群体博弈动力学进行对抗推理，以及符合更广泛机制设计目标的原则性多目标奖励设计。本节详细介绍其核心组件。

### 3.1 模型重构与结构化策略表示

我们如下重构学习者的问题。在每一轮$t$，学习者观察到一个状态$s_t \in \mathcal{S}$，编码了相关历史。具体来说，$s_t = (h_t, \xi_t)$，其中$h_t$是过去出价、分配和支付的压缩表示（例如，通过LSTM或移动平均值），而$\xi_t$表示外生上下文（例如，市场指数；为通用性包含但基线中未使用）。策略$\pi_\theta$不是直接输出一个$K$维向量$\mathbf{b}_t$，而是参数化一个出价函数$\phi(\cdot; \psi_t): [K] \rightarrow [0,1]