论文页面 - A2RBench：一种自动化的可形式化验证抽象推理基准生成范式

来源：https://huggingface.co/papers/2605.17278

摘要

大型语言模型在抽象推理能力上相比人类表现出显著局限，尤其是在复杂3D任务理解方面，而自动化的基准测试流程表明，程序化验证通过循环一致性确保了解决方案的唯一性。

抽象推理能力（https://huggingface.co/papers?q=Abstract%20reasoning%20ability）体现了LLM从抽象规则中提取并应用规则的智能与泛化能力。然而，精确测量这一能力仍然具有挑战性：现有基准要么依赖昂贵的人工标注，限制了其规模，要么有测量记忆而非真正推理的风险。为解决此问题，我们引入了一个名为A2RBench的自动化流程（https://huggingface.co/papers?q=automated%20pipeline），涵盖生成、扩展、评估和分析四个环节。具体而言，在生成阶段，LLM创建需要真正推理的多样化任务；在扩展阶段，LLM复用已验证的规则并扩展新的输入空间以生成任务变体，实现规模化。然而，这一过程可能引发幻觉。为消除幻觉，我们进一步建立了理论框架，证明程序化验证（https://huggingface.co/papers?q=programmatic%20verification）——即测试逆操作（https://huggingface.co/papers?q=inverse%20operation）能否完美逆转前向操作（https://huggingface.co/papers?q=forward%20operation）（循环一致性（https://huggingface.co/papers?q=cycle%20consistency））——能够保证唯一解。通过对主流LLM的广泛评估，我们发现：(1) 当前LLM在抽象推理方面存在根本性缺陷，顶级模型在人代表性的子集上表现显著低于人类（39.8%对比68.5%）。(2) 当前LLM在生成的复杂3D任务（https://huggingface.co/papers?q=3D%20tasks）中远逊于2D和1D任务，暴露出其对高维任务理解的不足。(3) 反直觉的是，信息复杂度（https://huggingface.co/papers?q=information%20complexity）更高的输入反而能简化推理过程。

查看arXiv页面（https://arxiv.org/abs/2605.17278）查看PDF（https://arxiv.org/pdf/2605.17278）GitHub2（https://github.com/MAC-AutoML/A2Rbench）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.17278）

引用该论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.17278 即可从此页面链接。

引用该论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.17278 即可从此页面链接。

引用该论文的Spaces0

没有Space链接此论文

在Space README.md中引用 arxiv.org/abs/2605.17278 即可从此页面链接。

包含该论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集（https://huggingface.co/new-collection）中即可从此页面链接。