标签
本文重新审视了AI对齐中奖励优化的缩放定律，表明性能随 Θ(√min{log(M), K}) 扩展，其中 M 为偏好数据量，K 为 KL 散度预算；文中还提出了一个信息论模型，并使用代理奖励模型进行了大量的实证验证。