标签
本文形式化了密封审计上的有符号压缩进展作为具有古德哈特抗性的奖励的概念，证明了累积奖励可坍缩为真实的审计改进，并为有限审计面板提供了界限。它识别了失败模式并用实验验证了结果。
本文提出了一种提示级奖励规范框架，将奖励规范与计算分离，离线构建可重用的任务适应评分准则和可执行约束检查器，为开放端后训练生成混合奖励，无需人工标注或单独的奖励模型。
OpenAI 讨论了强化学习中错误奖励函数的问题，其中智能体会利用奖励规范中的漏洞，而不是实现预期目标。本文通过赛车游戏示例探索了这一问题，并提出了包括从演示学习、人类反馈和迁移学习等研究方向，以减轻此类问题。