公平强化学习
摘要
公平强化学习引入了民主对齐，以整合来自不同代理的多个竞争性价值集，克服了传统RLHF的局限性，并通过黑盒策略包装器实现了数量级更快的优化。
**ICLR 2026 论文**
* ⚖️ **民主对齐:** 无缝整合来自不同代理的多个竞争性价值集，超越了传统RLHF的“一刀切”局限。
* 📦 **黑盒策略优化:** 作为围绕*标准策略优化*算法的包装器运行，消除了对状态或动作总数的直接依赖。
* 🚀 **数量级加速:** 大幅降低样本复杂度，与先前的表格方法相比，计算效率提升数个数量级。
相似文章
RL-FAT：公平对抗训练的强化学习
RL-FAT 是一个用于公平对抗训练的强化学习框架，旨在提高模型鲁棒性并减少不同类别之间的鲁棒性差异。实验表明，与标准方法相比，该方法在准确性和公平性方面都表现出竞争力。
在多实例强化学习系统中融合公平性与可解释性
阿姆斯特丹大学的一项研究将基于强化学习的多实例学习、对抗去偏和偏好条件化超网络相结合，用于学业风险学生预测。研究发现，公平性目标可以加入到可解释的 RL-MIL 流水线中，但仅凭偏好条件化无法实现性能与 Equalized Odds（机会均等）之间可控的权衡，原因是存在模式坍缩。
面向公平强化学习的推理时策略对齐
本文提出了一种推理时策略塑形框架，受大语言模型推理时对齐的启发，无需重新训练即可将预训练的强化学习策略引导至基于福利的公平目标。
偏好平均导致的RLHF程序公平性失败
本文指出，RLHF因平均化异质偏好而导致程序公平性失败：多数群体主导奖励学习，少数偏好代表性不足。文章提出了偏好感知RLHF（PA-RLHF），在受控实验中提升了对齐准确率并缩小了公平性差距。
Don't Mix Rewards, Mix Policies: Policy Decomposition and Optimization for Multi-Reward RL
This paper proposes PRISM, a multi-reward RL framework that decomposes policy space rather than mixing rewards, improving multi-reward optimization and enabling inference-time controllability. Experiments on reasoning and alignment tasks show it outperforms existing baselines.