标签
本文提出组熵控制策略优化（GEPO），一种轻量级扩展GRPO的方法，利用组熵进行熵条件非对称优势塑造，解决了基于强化学习的大语言模型对齐过程中不同任务间的异质熵区域问题。实验表明，相比GRPO和近期熵控制方法，GEPO在多项基准测试中均取得一致提升。
本文介绍了 Entrocraft，这是一种用于强化学习的拒绝采样方法，通过控制熵调度来防止大语言模型的性能饱和。该方法展示了更强的泛化能力和更长的训练寿命，使较小规模的模型能够超越较大的基线模型。