ClosureBench：一种用于组合图推理的建构性基准

# 组合图推理的建设性基准
来源：https://arxiv.org/html/2608.18242
作者：Stefano Goria
邮箱：[email protected]

###### 摘要
大型语言模型在多步组合与逻辑推理方面普遍表现不佳，且已有大量研究量化了这一差距的一部分。追踪这一差距本身也很困难：新模型是在用于评估它们的基准上训练的，因此固定的测试集在发布后很快就会沦为记忆化检查，这催生了能够按需生成新实例的*建设性*基准。我们提出了ClosureBench，一个用于深度探测、并沿可控轴向分析语言模型在图关系逻辑推理中失败点的建设性基准。每个任务由显式的逻辑原语（可达性、度数、集合运算、连通性与聚合）构建，其参考答案由精确实现该逻辑的代码执行计算得出，提供了程序化验证的真实答案和无限的新鲜实例。该基准涵盖三个组合层级的26个任务类别，并设有三个独立的难度调节参数：图规模、边密度和查询深度。在对从1.5B开源权重到前沿系统（o3, GPT-4.1, Gemini 2.5, Claude Sonnet 4）的模型进行评估后，我们发现准确率随着图规模和查询深度的增加而下降，且二者存在交互作用：即使是最强的前沿模型，从原子查询到组合查询的性能也会急剧下降。这种难度既非源于表层形式——当图以JSON边列表或邻接矩阵而非自然语言描述给出时，难度依然存在——也非源于推理规则本身（模型能正确陈述规则），而是源于模型在图上跨多步执行该规则的过程。一个4B参数模型经过微调后，输出经过验证的程序而非答案，其性能在各组合层级上几乎保持平稳，而所有前沿模型都急剧下降：最强的o3模型从原子查询的96%准确率下降到最组合查询的82%，而4B模型保持在93%——在最困难的任务上以极小的令牌成本匹配或超越前沿模型。该程序将多步执行卸载给运行时环境，模型的残余错误几乎完全是边误读——这是它仍然自行执行的唯一步骤。建设性生成还支持直接的记忆化检查，比较在见过的实例与新生成实例上的准确率。
关键词：图推理，组合泛化，基准，数据污染，程序合成

## 1 引言
考虑银行的一位合规分析师需要回答一个常规但重要的问题：资金能否通过任何中介链从给定客户流向被制裁实体？交易形成一个图——账户是节点，转账是有向边——该问题询问是否存在连接客户与被制裁账户的有向路径。回答它需要链接多个步骤：跟踪转账路径、追踪已到达的账户，并组合部分结果。一条被遗漏的路径意味着未被发现的制裁风险；一条错误的路径则会冻结一个合法账户。这就是组织越来越多地向语言模型提出的多步关系类自然语言问题——也是据报告语言模型不可靠的问题类型。这一报告在不同情境下保持一致：模型处理单步推理良好，但随着任务组合步骤增多而性能下降。对思维链的正式分析发现，随着推理链的增长准确率下降（Saparov and He 2023 (https://arxiv.org/html/2608.18242#bib.bib16)）；多跳问答在问题真正需要组合子问题而非利用快捷方式时仍然困难（Trivedi et al. 2022 (https://arxiv.org/html/2608.18242#bib.bib20); Ho et al. 2020 (https://arxiv.org/html/2608.18242#bib.bib10)）；专门的逻辑推理套件暴露了在嵌套和一阶结构上的系统性错误（Hu et al. 2022b (https://arxiv.org/html/2608.18242#bib.bib12); Liu et al. 2020 (https://arxiv.org/html/2608.18242#bib.bib13); Yu et al. 2020 (https://arxiv.org/html/2608.18242#bib.bib24)）；而小学算术在表层编辑后准确率下降，表明这是模式匹配而非稳健程序（Mirzadeh et al. 2024 (https://arxiv.org/html/2608.18242#bib.bib15)）。最新的经过推理优化的模型缩小了但并未弥合差距：OpenAI的o1在规划基准上显著提升，但离解决问题仍相去甚远（Valmeekam et al. 2024 (https://arxiv.org/html/2608.18242#bib.bib21)），并且在控制谜题中，一旦组合复杂性超过阈值，最强的推理模型也会崩溃，随着问题变难而削减其自身的推理努力（Shojaee et al. 2025 (https://arxiv.org/html/2608.18242#bib.bib17)）。这些失败是反映了真正的局限还是我们测试它的方式本身仍在争论中（Cheng et al. 2024 (https://arxiv.org/html/2608.18242#bib.bib3)）——这正是需要更精确测量它们的原因。

精确测量面临两个障碍。首先，基准会衰减：一旦测试集公开，它就会被吸收进下一轮训练中，因此固定的问题集很快就会测量回忆而非推理——GSM8K（Cobbe et al. 2021 (https://arxiv.org/html/2608.18242#bib.bib4)）和MMLU（Hendrycks et al. 2021 (https://arxiv.org/html/2608.18242#bib.bib9)）已达到饱和，其分数可能因在泄露数据上训练而被抬高（Zeng et al. 2024 (https://arxiv.org/html/2608.18242#bib.bib26)），并且微小的表层编辑已能使其失效（Mirzadeh et al. 2024 (https://arxiv.org/html/2608.18242#bib.bib15)）。程序生成的基准通过按需实例化新实例来解决这个问题，如DyVal系列（Zhu et al. 2024a (https://arxiv.org/html/2608.18242#bib.bib27); Zhu et al. 2024b (https://arxiv.org/html/2608.18242#bib.bib28)）和每月更新的套件如LiveBench（White et al. 2024 (https://arxiv.org/html/2608.18242#bib.bib23)）。其次，那些确实针对图推理的基准——GraphQA（Fatemi et al. 2023 (https://arxiv.org/html/2608.18242#bib.bib6)）、NLGraph（Wang et al. 2023 (https://arxiv.org/html/2608.18242#bib.bib22)）、GraphWiz（Chen et al. 2024a (https://arxiv.org/html/2608.18242#bib.bib1)）、GraphArena（Tang et al. 2024 (https://arxiv.org/html/2608.18242#bib.bib19)）、GraCoRe（Yuan et al. 2024 (https://arxiv.org/html/2608.18242#bib.bib25)）、GraphInstruct（Luo et al. 2024 (https://arxiv.org/html/2608.18242#bib.bib14)）以及专注于亲缘关系的CLUTRR（Sinha et al. 2019 (https://arxiv.org/html/2608.18242#bib.bib18)）——通过字符串匹配（Chen et al. 2024b (https://arxiv.org/html/2608.18242#bib.bib2)）对答案进行评分，并且仅沿单一粗略轴调整难度，因此它们无法分离*哪个*操作模型失败或*多少*组合使其崩溃；仅图编码的选择就能使准确率波动数十个百分点（Fatemi et al. 2023 (https://arxiv.org/html/2608.18242#bib.bib6)），使推理与输入格式混为一谈。

制裁查询是一个通用操作的实例：关系的*传递闭包*，即由有向路径连接的所有点对的集合。闭包远不止在金融领域出现——它决定故障是否通过依赖图传播、变更是否到达下游服务，或谱系中谁是谁的后代。相关操作同样广泛存在：计算节点的连接数（度）、相交两个源可达的集合、寻找相互可达的组（强连通分量），或对可达集合进行量值聚合。我们称这些为图关系*逻辑原语*；每个都是图上的精确、可检查的操作，而现实问题将其中少数几个组合起来。如此精确地测量推理意味着控制问题使用*哪些*原语以及组合*多少*个，同时拥有一个可信赖的参考答案。ClosureBench——以该闭包操作命名——同时提供了这两点。每个任务是对一个或多个逻辑原语的查询，其参考答案是*计算*出来的，而非人工策划：该原语作为一段简短程序执行——几行张量逻辑（Domingos 2025 (https://arxiv.org/html/2608.18242#bib.bib5)），将图操作表示为邻接矩阵上的收缩，在Ein语言中运行111Ein是一种独立的开源语言，用Rust实现：https://github.com/egolabs-ai/ein-lang。或等效地，在Python中使用NetworkX222NetworkX，一个用于图算法的Python库：https://networkx.org/。因为答案是计算得出的，所以它是精确的，并且生成器可以从独立的结构和表层种子中产生无限的、无污染的新鲜实例。

该基准涵盖三个组合层级的26个任务类别，并暴露三个独立的难度旋钮——图规模、边密度和查询深度——因此评估者可以固定其中两个，调整第三个，以定位模型在何处崩溃。模型仅看到自然语言问题并返回JSON答案；它们永远不会看到背后的程序。

我们做出三项贡献：
1.  **1. ClosureBench本身**：一个由26个图关系类别构成的建设性基准，这些类别基于显式逻辑原语构建，具有程序化计算的真实答案、三个独立的难度轴和表层控制（§2 (https://arxiv.org/html/2608.18242#S2)）。由于它提供无限的新鲜实例，它还提供了直接的记忆化检查——在见过的实例与新生成实例上的准确率差距——我们利用此来在微调下区分回忆与推理（§4.1 (https://arxiv.org/html/2608.18242#S4.SS1)）。
2.  **2. 语言模型在这些任务上失败点的诊断**：准确率随着图规模和查询深度的增长而下降，且二者存在交互作用，失败发生在图上执行计算的过程——它在JSON和邻接矩阵编码下依然存在，且无法通过额外的推理令牌恢复——而非在读取图或陈述规则方面（§4.2 (https://arxiv.org/html/2608.18242#S4.SS2)–4.6 (https://arxiv.org/html/2608.18242#S4.SS6)）。
3.  **3. 程序合成作为层级无关、低成本的替代方案**：输出程序而非答案，这种方法推动了图推理的近期进展（Zhu et al. 2025 (https://arxiv.org/html/2608.18242#bib.bib29); Guo et al. 2025 (https://arxiv.org/html/2608.18242#bib.bib8)）：一个4B参数模型经过微调以输出经过验证的程序，其性能在各组合层级上几乎保持平稳，而每个前沿模型都急剧下降，并且只消耗极小部分的令牌成本，使用Ein和Python目标得到相同的结果（§4.5 (https://arxiv.org/html/2608.18242#S4.SS5)）。

## 2 ClosureBench 设计
ClosureBench围绕四个设计原则构建，每个原则都针对现有基准的特定失败模式：
(1) **程序化真实答案**——每个参考答案都通过将任务的逻辑原语作为程序执行来计算，消除了人工标注错误；
(2) **建设性生成**——新实例按需生成，因此基准永远不会耗尽新鲜评估数据；
(3) **独立复杂性轴**——三个正交参数让评估者能够隔离特定失败模式；
(4) **领域锚定**——任务在现实世界垂直领域中构建，以测试模型是否能处理情境化的图描述。

**图1：ClosureBench流程。** *生成*（上图）：采样图，并对任务的原语运行程序以计算经验证的真实答案（我们使用Ein，§2.5 (https://arxiv.org/html/2608.18242#S2.SS5)）。*评估*（下图）：模型仅接收自然语言问题并生成JSON答案，针对预先计算的真实答案进行评分。模型永远不会看到程序。

### 2.1 推理原语和查询类型
每个ClosureBench任务都基于图的邻接矩阵上的一小组图关系原语构建。我们在下文中定义这些原语及它们诱导的查询类型，并将其计算推迟到§2.5 (https://arxiv.org/html/2608.18242#S2.SS5)。
用邻接矩阵A∈{0,1}^{n×n}表示一个n节点的有向图，其中A[i,j]=1当且仅当存在边i→j。每个参考答案是A和几个指定查询节点的函数。原语包括：
- **度数**。节点i的出度是行和d_out(i)=∑_j A[i,j]；入度是列和。*查询示例：*“Alice向Bob、Carol和Dave付款。Alice向多少个账户付款？”（d_out(Alice)=3）。
- **可达性（传递闭包）**。节点i可达节点j当且仅当存在连接它们的有向路径。闭包矩阵TC(A)满足TC[i,j]=1当且仅当i可达j；等价地，在布尔算术下TC=∨_{k=1}^{n-1} A^k。*查询示例：*“XX向YY供货，YY向ZZ供货；从XX到ZZ是否存在供货路径？”
- **可达集**。R(X)={j: TC[X,j]=1}是从X可达的节点集合。*查询示例：*“从XX可以到达多少个节点？”（|R(X)|）。
- **集合运算**。查询组合可达集，进行交集R(X)∩R(Y)、差集R(X)∖R(Y)或补集运算。*查询示例：*“XX可以到达哪些YY不能到达的节点？”（R(X)∖R(Y)）。
- **三角形**。对于无向图，三角形数量是trace(A^3)/6（每个三角形封闭六个长度为3的游走）。*查询示例：*“有多少个彼此相互连接的三节点组？”
- **强连通分量（SCC）**。节点i,j属于同一个SCC当且仅当它们相互可达，即TC[i,j]∧TC[j,i]。*查询示例：*“XX和YY能否相互到达？”
- **祖先与亲缘关系**。在有向无环的父→子图中，祖先是可达性概念，亲缘术语由此衍生：XX的祖先可达XX；兄弟共享一个父节点；堂兄弟共享一个祖父母。*查询示例：*“Eve是Carol和Tina的父母；Tina最年长的祖先是谁？”或“Carol和Dave是堂兄弟吗？”
- **聚合**。在集合上的标量汇总（求和、平均值或最大值），例如R(X)上的平均出度，(1/|R(X)|)∑_{i∈R(X)} d_out(i)。*查询示例：*“在从XX可达的节点中，它们的平均出向链接数是多少？”

一个*查询类型*由它调用的原语及其组合方式定义（表1 (https://arxiv.org/html/2608.18242#S2.T1)）。一个*原子*查询调用单个原语：“XX能到达YY吗？”是一次闭包查找。一个*链式*查询将一个原语的输出馈入下一个：“XX能到达多少个节点？”是可达性后接对R(X)的计数。一个*组合*查询增加控制流：“如果XX能到达YY，报告|R(X)|，否则报告-1”运行可达性测试，根据结果分支，然后计数。分类法（§2.2 (https://arxiv.org/html/2608.18242#S2.SS2)）按此结构对任务进行分组，复杂性轴（§2.3 (https://arxiv.org/html/2608.18242#S2.SS3)）独立地调整它。

表1：推理原语、它们回答的问题以及使用它们的类别。A是邻接矩阵；R(X)是从X可达的节点集合。

### 2.2 任务分类法
ClosureBench将26个类别组织成三个组合难度层级（表2 (https://arxiv.org/html/2608.18242#S2.T2)）；附录A (https://arxiv.org/html/2608.18242#A1)列出了所有类别及其定义操作。
L1（原子，11个类别）：单个原语——三角形计数、可达性、负向可达性、度数计数、最大度数、相同SCC成员、集合交集、集合差集、集合并集、最大度数节点、最高度数节点。