self-critique

Anthropic的Claude Opus 4.8更新大幅减少了自信但错误的答案，在报告有缺陷的结果上得分为0%，并提供了一个提示词来利用这一改进进行关键的自我批判。

本文介绍了ICRL框架，该框架联合训练求解器和批判器，通过强化学习内化批判指导，使求解器无需外部批判即可自我改进。它使用分布校准和角色分组优势估计，在智能体和数学推理任务上比GRPO提高了6-7个点。