论文页面 - 通过精确熵曲线控制解决大语言模型强化学习的性能饱和问题

来源：https://huggingface.co/papers/2604.26326

摘要

Entrocraft 是一种用于强化学习的拒绝采样方法，它通过定制熵调度计划并改善泛化能力和训练持久性，来解决大语言模型（LLM）中的性能饱和问题。

强化学习（https://huggingface.co/papers?q=Reinforcement%20learning）（RL）赋予了大语言模型（LLM）复杂的推理能力。然而，大多数 RL 算法都遭受性能饱和（https://huggingface.co/papers?q=performance%20saturation）之苦，导致随着 RL 训练规模的扩大，性能无法持续提升。这一问题可以通过熵的崩溃来表征，熵是衡量 RL 中探索行为的关键诊断指标。现有的尝试主要集中于通过正则化或裁剪来防止熵崩溃（https://huggingface.co/papers?q=entropy%20collapse）。然而，它们产生的熵曲线在长期来看往往表现出不稳定性，从而阻碍了性能的提升。在本文中，我们引入了 Entrocraft，这是一种简单的拒绝采样（https://huggingface.co/papers?q=rejection-sampling）方法，它通过偏差化优势分布（https://huggingface.co/papers?q=advantage%20distributions）来实现用户定制的熵调度计划（https://huggingface.co/papers?q=entropy%20schedule）。Entrocraft 无需目标正则化，且与优势估计器无关（https://huggingface.co/papers?q=advantage-estimator-agnostic）。理论上，我们在最小假设下将每步熵的变化与优势分布联系起来。这解释了现有 RL 和熵保持方法的行为。Entrocraft 还使熵调度计划（https://huggingface.co/papers?q=entropy%20schedule）的系统性研究成为可能，研究发现，从高起始值衰减到稍低目标值的线性退火策略表现最佳。在实证研究中，Entrocraft 解决了性能饱和（https://huggingface.co/papers?q=performance%20saturation）问题，显著改善了泛化能力（https://huggingface.co/papers?q=generalization）、输出多样性（https://huggingface.co/papers?q=output%20diversity）和长期训练效果。它使 4B 模型能够超越 8B 基线模型，在性能趋于平稳前将改进持续时间延长了多达 4 倍，并将 pass@K 提高了 50%。

查看 arXiv 页面 (https://arxiv.org/abs/2604.26326) 查看 PDF (https://arxiv.org/pdf/2604.26326) 项目页面 (https://lblaoke.github.io/demo/entrocraft) GitHub2 (https://github.com/lblaoke/entrocraft) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.26326)

在您的 Agent 中获取此论文：

hf papers read 2604\.26326

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2604.26326 以从此页面建立链接。

引用此论文的数据集 0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2604.26326 以从此页面建立链接。

引用此论文的 Spaces 0

没有链接此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2604.26326 以从此页面建立链接。

包含此论文的集合 1