Nonobench：一个关于 49 个 LLM 在数织（Nonogram）谜题上表现的公开开源基准 [P]

Reddit r/MachineLearning 论文
benchmark nonograms llm-evaluation reasoning open-source logic-puzzles

摘要

Nonobench 是一个开源基准，评估 49 个 LLM 在不使用任何工具的情况下解数织（picross）谜题的能力；随着网格尺寸增大，求解率急剧下降，只有少数前沿模型能通过 15x15 及高难度 20x20 的题目。

Nonobench 衡量 LLM 解数织（nonogram / picross）的能力。每个模型只获得一次行列提示，然后返回完整的网格结果。不使用工具，每道题只有一次尝试。 方法： - 标准模式（Standard）：30 道谜题，尺寸从 5x5 到 15x15（来自 Moyà-Alcover 的 Nonograms 数据集，CC BY 4.0 许可）。 - 高难度模式（Hard）：随机选取十道 20x20 的题目，每道都经过校验保证有唯一解。其中五道仅凭行列逻辑无法求解。使用随机填充，以避免出现模型可以靠猜测出图的图案谜题。 - 共 130 种变体，覆盖不同的推理努力级别（reasoning effort），通过 OpenRouter 运行，并在可能的情况下固定使用各实验室自己的 API 端点。 结果： - 在各模型的最佳推理努力级别下，求解率从 5x5 的 85% 下降到 10x10 的 46%，再到 15x15 的 20%。 - GPT-6 Astra 解出了全部 30 道标准模式题目。在高难度模式中，Claude Opus 5.5 解出 10 道中的 8 道，而 15 个模型中有 11 个一道未解。 - 由于答案以单个 400 字符的字符串形式提交，大多数模型在逻辑变难之前就已经数错了格子，因此高难度模式改为要求模型返回由 20 行字符串组成的数组，而非单个字符串。 局限性：每道题只有一次尝试，因此单次结果存在噪声（文中展示了 95% 置信区间）。 网站：https://www.nonobench.com 代码（MIT 许可）：https://github.com/mauricekleine/nonobench
查看原文

相似文章

BBOWP-Bench：评估LLM在黑盒优化文字问题上的性能

arXiv cs.CL

介绍了BBOWP-Bench，一个用于评估LLM在黑盒优化文字问题上的基准测试套件。在这些问题中，系统必须从自然语言描述中推断搜索空间和优化算法。初步结果显示，LLM能够选择合适算法，但在搜索空间设计方面存在困难。