量化强化学习中的泛化能力

# 强化学习中的泛化量化 来源：https://openai.com/index/quantifying-generalization-in-reinforcement-learning/ 我们训练了 9 个智能体来玩 CoinRun，每个智能体都有不同数量的可用训练关卡。前 8 个智能体分别在包含 100 到 16,000 个关卡的集合上进行训练。我们在无限制的关卡集合上训练了最后一个智能体，因此该智能体永远不会看到相同的关卡两次。我们使用常见的 3 层卷积架构（称为 Nature-CNN）训练智能体的策略。我们的智能体使用近端策略优化（PPO）进行训练，总共 256M 个时间步。由于一个回合平均持续 100 个时间步，使用固定训练集的智能体将看到每个训练关卡数千到数百万次。使用无限制集合训练的最后一个智能体将看到大约 200 万个不同的关卡——每个都恰好一次。 我们通过对 10,000 个回合的最终智能体性能进行平均来收集以下图表中的每个数据点。在测试时，智能体在从未见过的关卡上进行评估。我们发现当训练关卡少于 4,000 个时会发生严重的过拟合。**事实上，即使有 16,000 个训练关卡，我们仍然看到过拟合！**不出所料，使用无限制关卡集合训练的智能体表现最好，因为这些智能体可以获得最多的数据。这些智能体在以下图表中由虚线表示。 我们将 Nature-CNN 基线与 IMPALA 中使用的卷积架构进行了比较，发现 IMPALA-CNN 智能体在任何训练集上的泛化效果都*要好得多*，如下所示。