重新审视Q-learning的过估计偏差问题：通过动作交集解决大规模离散动作空间

# 重访Q-learning的过估计偏差问题：通过动作交集解决大规模离散动作空间

来源：https://arxiv.org/html/2608.12912

Pu Li（重庆绿色智能技术研究院，重庆，中国），Tao Tan，Hong Xie，Xiaoyu Shi，Mingsheng Shang

###### 摘要

本文考虑在大型动作空间场景下Q-learning的过估计偏差问题，以缓解现有方法的瓶颈。我们发现，大型动作空间增加了Q值估计的随机性。这种随机性使得驱动过估计问题主要文献的两种范式各自存在瓶颈：耦合范式（即使用同一个Q函数估计最优动作及其Q值）总是存在正偏差。这是因为随机性导致某些动作的估计值异常高于其真实值，而耦合方法偏好这些动作。解耦范式（即使用两个独立的Q函数估计最优动作及其Q值）总是存在负偏差。这是因为随机性增加了两个独立Q表对同一动作的估计差距。本文表明，动作交集可以成为一种简单而强大的策略来缓解这些瓶颈。动作交集策略通过两种设计实现半解耦：（1）它允许两个Q函数共享一定比例的轨迹数据；（2）如果某个数据样本被共享，则每个Q函数使用耦合范式更新；否则，使用解耦范式更新。动作交集策略之所以强大，有两个特性：（1）获得较大的偏差范围，即通过改变数据共享比例，估计偏差从低估连续变化到高估；（2）细粒度：动作交集大小可以任意细化，以实现更精细的控制。我们考虑了两种实验设置，即表格型和深度RL，深度RL实验表明我们的方法显著优于若干SOTA基线；表格实验揭示了我们的方法为何能够取得优越性能。我们相信我们的工作为缓解Q-learning的过估计偏差打开了新的大门。

###### 关键词

耦合范式，解耦范式，半解耦范式，动作交集

## 1 引言

Q-learning [29](https://arxiv.org/html/2608.12912#bib.bib6) 是最广泛采用和研究的强化学习（RL）算法之一 [5](https://arxiv.org/html/2608.12912#bib.bib22) [32](https://arxiv.org/html/2608.12912#bib.bib24) [35](https://arxiv.org/html/2608.12912#bib.bib23)。然而，Q-learning 存在过估计偏差 [25](https://arxiv.org/html/2608.12912#bib.bib25) [8](https://arxiv.org/html/2608.12912#bib.bib4)。先前的工作表明，在Q-learning中，函数逼近器会在输出预测中引入噪声