exploration-stability-dilemma

#exploration-stability-dilemma

UP：打破探索-稳定性困境的无界正非对称优化

arXiv cs.LG ↗ · 2026-07-09 缓存

本文提出无界正非对称优化（UP），一种通用的即插即用目标函数，通过使用停止梯度锚定策略，解决了基于强化学习的大语言模型训练中的探索-稳定性困境，允许对正优势使用无裁剪梯度，同时对负优势进行裁剪。

0 人收藏 0 人点赞