标签
本文提出熵正则化交叉熵（ER-CE），旨在解决交叉熵损失函数与验证领域中验证器目标之间的不匹配问题，并在数学推理与代码生成基准测试中展现出显著提升。
基础性实证研究，展示了语言模型性能与模型规模、数据集大小和计算预算之间的幂律缩放关系，对最优训练资源分配和样本效率有重要启示。