标签
本文剖析了大型语言模型的强化学习后训练算法，探讨了基础模型分布、奖励信号粒度和提示多样性如何影响后训练结果。
本文提出了一种架构，该架构使用形式化验证的法律作为训练法律AI的奖励信号，自适应地将法律规则自动形式化为形式化演算，并采用验证器确保可证明的正确性，在德国和美国法律示例上进行了演示。
提出跨模型熵（CME）作为一种无标签奖励信号，用于大型语言模型的强化学习后训练，无需真实验证器或人类偏好标签即可实现开放式指令遵循。