更小的抽象状态空间实现强化学习中的跨尺度泛化

arXiv cs.LG 2026/05/21 04:00 论文

reinforcement-learning generalization abstraction state-spaces pomdp out-of-distribution

摘要

本文提出了强化学习中分布外泛化的首个理论模型，表明更小的抽象状态空间能够在POMDP中实现跨尺度泛化。

arXiv:2605.20272v1 公告类型：新摘要：虽然人类能够轻松地将抽象概念泛化到更复杂或更大的任务中，但构建具备此能力的强化学习（RL）系统仍然难以实现。在此，我们首次提出了RL智能体如何实现这种分布外（OOD）泛化的理论模型。我们的方法基于部分可观测马尔可夫决策过程（POMDP），并假设智能体使用抽象函数来确定哪些经验可视为等价、哪些需加以区分。首先，我们将现有的状态抽象框架和证明技术扩展到POMDP。接着，我们定义了一种后继加权模型简化，这是一种模型简化变体，能够比先前定义压缩到更小的抽象空间。我们推导了智能体OOD测试性能的界限，从而明确了OOD泛化可实现的条件。该界限将智能体的性能损失分解为近似误差和估计误差，揭示了减少智能体抽象状态空间大小如何提升测试性能与OOD泛化能力。我们的分析表明，约束智能体在有限的小型抽象状态集上运行，对于实现向更复杂任务的泛化是必要的。我们的结果激励了进一步研究能够在不同复杂度任务间扩展的RL架构。

查看原文

查看缓存全文

缓存时间: 2026/05/21 06:21

# 更小的抽象状态空间实现强化学习中的跨尺度泛化
来源：https://arxiv.org/abs/2605.20272
查看 PDF（https://arxiv.org/pdf/2605.20272）

> **摘要：** 尽管人类能够轻易地将抽象概念泛化到更复杂或更大的任务中，但构建具备这种能力的强化学习（RL）系统仍然难以实现。本文提出了首个理论模型，解释如何在 RL 智能体中实现这种分布外（OOD）泛化。我们的方法考虑部分可观察马尔可夫决策过程（POMDPs），并假设智能体使用一个抽象函数来决定哪些经验可以被视为等价、哪些必须区分。首先，我们将现有的状态抽象框架及其证明技术扩展到 POMDPs。然后，我们定义了一种后继加权模型约简，这是一种模型约简变体，允许压缩成比先前定义更小的抽象空间。我们推导出智能体 OOD 测试性能的边界，从而明确了实现 OOD 泛化的条件。该边界将智能体的性能损失分解为近似误差和估计误差，揭示了减小智能体抽象状态空间规模如何提升测试性能和 OOD 泛化能力。我们的分析表明，将智能体约束在一个小型、有限的抽象状态集合上操作，是实现向更复杂任务泛化的必要条件。本文的结果鼓励进一步研究能够跨不同复杂度任务进行扩展的 RL 架构。

## 提交历史

来自：Lucas Lehnert \[查看邮箱（https://arxiv.org/show-email/ac6fa4d6/2605.20272）\] **\[v1\]** 2026年5月19日 星期二 02:26:28 UTC（261 KB）

更小的抽象状态空间实现强化学习中的跨尺度泛化

相似文章

环境群胚的范畴内化在可推广POMDP求解中的应用

通过混合条件策略展示泛化失败

通过扩散策略优化扩展世界模型强化学习

GRLO：从零开始迈向开放环境下的通用强化学习

小型模型是GRPO中策略级多样性的自然探索器

提交意见反馈