标签
本文提出了一种元多智能体强化学习（meta-MARL）框架，将多智能体强化学习（MARL）问题建模为马尔可夫博弈，并定义了一种新的求解概念——元纳什均衡（meta-NE），并证明其与基于梯度博弈算法的驻点等价。实验表明，在自动驾驶任务中，该方法相比预训练的 MARL 基线方法能够实现更快的适应。
本文引入自由推理维度，这是一个在元强化学习假设混合下，用于零碰撞导航的组合复杂性度量，并证明了其与VC维度及泛化界的关系。
一位研究者强调，Meta-RL 是训练 LLM 智能体的一个有前景的方向，将智能体训练重新构建为跨回合的元强化学习问题，从而实现主动探索和试错适应。
一篇新的研究论文将 LLM 代理训练重新定义为跨回合的 Meta-RL 问题，使用无评论家策略梯度实现在上下文中的适应，而无需梯度更新。LAMER 框架在长时程任务上相比标准 RL 基线将测试时性能提升了 11-19%，并且能更好地泛化到未见过的环境。
本综述探讨了非平稳环境下的上下文强化学习（ICRL），其中预训练决策模型通过累积的上下文进行适应，无需参数更新。它围绕变化的内容、变化的方式以及变化的可观测性来组织文献，并指出了诸如陈旧上下文压力测试和自适应遗忘等研究空白。