标签
Self-CTRL 是一种强化学习方法，旨在提高语言模型自我解释与实际行为之间的一致性。它显著提升了自我报告偏差与测量偏差之间的相关性，并将拒绝预测准确率从36%提升到92%，同时减少了有害响应率。
本文提出了一种用于扩散模型的时间差分（TD）学习目标，该目标在去噪轨迹上强制跨时间一致性。它将去噪重新表述为强化学习中的策略评估问题，展示了在样本质量（FID）上的显著改进，尤其适用于少步采样器。
本文介绍了政治一致性训练（PCT），一种基于强化学习的方法，旨在减少大语言模型中的隐性政治偏见，同时保持其有用性，并发布了用于衡量情感一致性和有用性一致性的指标。