reasoning-evaluation

本文介绍了一个用于推理评估的多轮交互框架，其中大型语言模型需要查询隐藏环境并整合部分观察结果。该框架实例化为一个包含474个可执行游戏、跨五个难度级别的基准，展示了区分能力并揭示了推理差异。

本文研究了大型推理模型（LRMs）中的生成-评估差距，发现尽管它们能近乎完美地生成解决方案，但由于答案确认偏差，它们无法稳健地评估推理过程。