GoBench：评估大型语言模型在围棋游戏中的表现 [R]
摘要
GoBench 是一个基准测试，用于评估大型语言模型在 9x9 围棋游戏中的表现，它与 ARC-AGI 有强相关性，并设有一个包含从随机到超人类水平的 KataGo 对手的排行榜。
GoBench 评估大型语言模型在 9x9 围棋游戏中对抗一系列 KataGo 对手的表现，从随机到超人类水平。它测量通用推理能力，与 ARC-AGI 2 有强相关性（相关系数 r=0.83），并且饱和度仍然很高。GPT-6 Astra max 达到了 2500 Elo，远低于最佳 KataGo 的 4400 Elo。在评估前使用编码工具和两小时的准备，Codex with Astra 达到了 3560 Elo。我将只要排行榜未饱和就保持更新。排行榜: https://rolandgao.com/blog/gobench/ 代码: https://github.com/RolandGao/gobench 论文: https://github.com/RolandGao/gobench/blob/main/paper/gobench2.pdf X: https://x.com/Roland65821498/status/2100253388562723298?s=20
相似文章
XLGoBench: 通过算法任务检测跨语言技能差距
XLGoBench 引入了一个合成算法任务基准，用于检测大语言模型中的跨语言技能差距，并在多个先进模型中展示了持续的差距。
Magis-Bench: Evaluating LLMs on Magistrate-Level Legal Tasks
This article introduces Magis-Bench, a benchmark for evaluating large language models on magistrate-level legal tasks such as judicial reasoning and sentence drafting, using data from Brazilian judicial exams.
游戏竞技场：竞争环境中的战略LLM评估
游戏竞技场是一个开放平台，通过Chess、Poker和Werewolf等竞争游戏来评估LLM，实现对战略规划和鲁棒性的动态评估。
找到一步好棋不等于赢下对局：XiangqiBench 用于 LLM 智能体闭环评估
XiangqiBench 是一个可执行的基准测试，用于对 LLM 智能体在中国象棋残局中的表现进行闭环评估：测量模型能否在必杀局面下，将优势转化为经引擎防守方验证的胜局，并揭示了静态着法发现能力与实际赢棋表现之间的巨大差距，涵盖 12 个前沿大模型。
MoveBench：基于评分标准的体育与健康辅导大语言模型评测基准
MoveBench 引入了首个基于评分标准的基准测试，用于评估大语言模型在体育与健康教练领域的能力，涵盖安全性、科学有效性和个性化三个维度，包含选择题和开放式任务。对15个大语言模型在809道问题、5,012条评分标准上的评估结果显示，模型在安全意识和个性化方案设计方面存在显著不足。