reasoning-evaluation

GoBench 是一个基准测试，用于评估大型语言模型在 9x9 围棋游戏中的表现，它与 ARC-AGI 有强相关性，并设有一个包含从随机到超人类水平的 KataGo 对手的排行榜。

本文介绍了一个用于推理评估的多轮交互框架，其中大型语言模型需要查询隐藏环境并整合部分观察结果。该框架实例化为一个包含474个可执行游戏、跨五个难度级别的基准，展示了区分能力并揭示了推理差异。

本文研究了大型推理模型（LRMs）中的生成-评估差距，发现尽管它们能近乎完美地生成解决方案，但由于答案确认偏差，它们无法稳健地评估推理过程。