长期决策问题中基于成对偏好的强化学习

arXiv cs.LG 论文
reinforcement-learning pairwise-preferences markov-decision-process machine-learning long-term-decision theoretical-guarantees

摘要

本文介绍了Markov decision contest，这是一种用于基于成对偏好的强化学习的新问题模型。它证明了平稳策略的最优性保证、在P中的精确可解性，并提出了一种高效学习的近似算法。

arXiv:2606.00367v1 公告类型：新发布 摘要：强化学习问题通常将目标定义为最大化标量奖励函数的期望值。但是，成对偏好通常比标量奖励更容易指定，并且它们可以表达标量奖励无法表达的某些目标。因此，用于基于成对偏好的强化学习方法越来越受到关注。不幸的是，这些方法在长时间跨度的问题中效率低下，并且它们缺乏关于马尔可夫策略相对于历史依赖策略性能的保证，而这联系了强化学习的理论与实践。因此，我们提出了_Markov decision contest_，作为一种用于基于成对偏好的强化学习的新问题模型。我们证明了平稳马尔可夫策略在所有历史依赖策略中是最优的，精确求解Markov decision contest属于P类问题，并且一个简单的迭代算法以次线性速率收敛到最优策略。最后，在一组具有长时间跨度的高维决策问题中，我们展示了我们的近似算法在学习效率上显著优于先前的工作。
查看原文
查看缓存全文

缓存时间: 2026/06/02 15:42 

# 面向长周期决策问题中成对偏好的强化学习
来源：https://arxiv.org/abs/2606.00367
查看PDF：https://arxiv.org/pdf/2606.00367

> 摘要：强化学习问题通常将目标定义为最大化标量奖励函数的期望值。然而，与标量奖励相比，成对偏好往往更容易指定，并且它们能表达标量奖励无法实现的某些目标。因此，结合成对偏好的强化学习方法日益受到关注。遗憾的是，这些方法在长时域问题中效率低下，且无法保证马尔可夫策略相对于历史依赖策略的性能——而这一保证正是衔接强化学习理论与实践的关键。为此，我们提出了**马尔可夫决策竞赛**作为强化学习与成对偏好相结合的新问题模型。我们证明了稳态马尔可夫策略在所有历史依赖策略中是最优的，且精确求解一个马尔可夫决策竞赛属于P类问题，同时一个简单的迭代算法以次线性速率收敛到最优策略。最后，在一组具有长时域的高维决策问题中，我们展示了近似算法在学习效率上显著优于先前工作。

## 提交历史

来自：Jonathan Colaço Carr [查看邮件](https://arxiv.org/show-email/56a9045a/2606.00367)  
**[v1]** 2026年5月29日 星期五 21:16:25 UTC (14,723 KB)

相似文章

面向多目标强化学习的确定性帕累托最优策略综合

arXiv cs.LG

本文引入了一种基于切比雪夫标量化的新颖偏好条件贝尔曼算子，用于计算多目标马尔可夫决策过程中的确定性帕累托最优策略，并证明了该算子的收敛性及其在捕获完整帕累托前沿方面的有效性。

学会匹配：具有时间扩展反馈的双边匹配

arXiv cs.LG

本文介绍了一个具有时间扩展反馈的双边匹配框架，将其建模为部分可观测的马尔可夫博弈，包含昂贵筛选、噪声观测和动态变化的潜在特征。作者提出了多智能体强化学习基准Learn2Match，并展示了独立PPO在社会福利方面优于bandit基线，但信息摩擦损失更高。

面向运行时可调公交信号优先的偏好条件多目标强化学习

arXiv cs.LG

本文提出了一种偏好条件多目标强化学习控制器，用于公交信号优先，可在无需重新训练的情况下，在运行时调整公交优先与整体交通延误之间的权衡。实验表明，该控制器在维持可行性约束的同时，优于固定时间和基于规则的基线方法。