当前系统泛化任务遗漏了什么？一个以推理为中心的分析

# 当前系统性泛化任务遗漏了什么？基于推理能力的分析

来源：https://arxiv.org/html/2609.19212  
叶德恒  
隶属单位：南洋理工大学  
电子邮箱：[ydyl1991@gmail\.com](mailto:[email protected])  
卞亚涛††thanks:通讯作者  
隶属单位：新加坡国立大学  
电子邮箱：[ybian@nus\.edu\.sg](mailto:)

###### 摘要
系统性泛化，即通过重组已知原子元素来解决新问题的能力，是人类智能的核心，但在受控环境下难以进行严谨研究。现有研究因此依赖诸如近似线性的动作组合、基于生产力的测试以及动作显式目标等简化方法。这些方法虽使系统性泛化更易研究，却忽略了该能力的某些关键方面。为刻画这些简化所遗漏的内容，我们采用以推理为中心的视角，引入 TranSGrid 测试平台，该平台将演绎推理、归纳推理和溯因推理整合到统一任务中。对七个 Transformer 模型在 4800 个 TranSGrid 实例上的实验表明，所有模型在 TranSGrid 上的表现均远差于在预留测试集上的表现：最大的模型在测试集上解决了 79.6% 的实例，但在 TranSGrid 上仅解决 55.3%，在最难子集上仅解决 15.8%。即使参考答案长度在训练范围内，性能差距依然存在，表明仅凭生产力不足以评估系统性泛化能力。此外，我们将另外两种简化重新引入 TranSGrid：一个变体使动作几乎线性组合（降低归纳需求），另一个使目标动作显式化（降低溯因需求）。在这两种变体中，解决率恢复到与测试集大致相当的水平，表明任一简化都足以将 TranSGrid 降低为普通预留测试集。综合来看，现有任务忽略了归纳和溯因推理需求的全部或部分，而全面评估系统性泛化能力需要同时包含三种推理形式的任务。

## 1 引言
系统性泛化是指系统性地组合已学动作或技能以应对新问题的能力，这是人类智能的基本方面（Lake and Baroni, 2018 (https://arxiv.org/html/2609.19212#bib.bib1)；Lake and Baroni, 2023 (https://arxiv.org/html/2609.19212#bib.bib2)）。这种能力在众多领域中都至关重要，包括具身导航（Ruis et al., 2020 (https://arxiv.org/html/2609.19212#bib.bib3)；Sikarwar et al., 2022 (https://arxiv.org/html/2609.19212#bib.bib5)；Spilsbury et al., 2024 (https://arxiv.org/html/2609.19212#bib.bib17)；Chen et al., 2026a (https://arxiv.org/html/2609.19212#bib.bib16)）、语义解析（Kim and Linzen, 2020 (https://arxiv.org/html/2609.19212#bib.bib8)；Wu et al., 2023 (https://arxiv.org/html/2609.19212#bib.bib13)；Jabbar et al., 2025 (https://arxiv.org/html/2609.19212#bib.bib14)）、文本到图像生成（Han et al., 2025 (https://arxiv.org/html/2609.19212#bib.bib21)；Huang et al., 2025 (https://arxiv.org/html/2609.19212#bib.bib22)；Dat et al., 2025 (https://arxiv.org/html/2609.19212#bib.bib23)）、AI 安全（Addepalli et al., 2025 (https://arxiv.org/html/2609.19212#bib.bib24)；Chen et al., 2026b (https://arxiv.org/html/2609.19212#bib.bib12)）以及 AI for Science（Ji et al., 2023 (https://arxiv.org/html/2609.19212#bib.bib15)；Chen et al., 2025 (https://arxiv.org/html/2609.19212#bib.bib20)；Li et al., 2026a (https://arxiv.org/html/2609.19212#bib.bib18)；Li et al., 2026b (https://arxiv.org/html/2609.19212#bib.bib19)）。在这些领域中，成功不仅取决于掌握各个组成部分，还在于理解它们如何相互作用，并在新目标、新情境和新约束下恰当地重新组合它们。因此，对系统性泛化的严谨研究需要一个满足以下条件的测试平台：(1) *明确定义的原子动作空间*，(2) 这些动作的*有意义、交互丰富的组合*，(3) *可扩展地生成*真正测试模型系统性能力的实例，以及(4) *自动评估*以容纳多种有效解决方案。

然而在实践中，将所有这些要求整合到单一任务中非常困难，导致现有研究在任务设计上依赖大量的简化。一个常见的简化是以近似线性的方式组合原子动作，使其效果之间的交互有限（Lake and Baroni, 2018 (https://arxiv.org/html/2609.19212#bib.bib1)；Lake and Baroni, 2023 (https://arxiv.org/html/2609.19212#bib.bib2)）。第二个简化是主要通过生产力来评估系统性，通常通过测试模型能否外推到训练期间未见过的更长序列（Hupkes et al., 2020 (https://arxiv.org/html/2609.19212#bib.bib6)；Fu and Liu, 2026 (https://arxiv.org/html/2609.19212#bib.bib25)）。第三个简化是使用动作显式目标，其中输入已经指定了要执行的动作及其顺序（Wu et al., 2023 (https://arxiv.org/html/2609.19212#bib.bib13)；Li et al., 2023 (https://arxiv.org/html/2609.19212#bib.bib7)；Mondorf et al., 2026 (https://arxiv.org/html/2609.19212#bib.bib26)）。尽管这些简化使得系统性泛化更易研究，但它们也去除了该能力的一些核心挑战，导致对其内涵的理解不完整。

为了探究这些简化忽略了什么，我们采用以推理为中心的视角来研究系统性泛化，并引入 TranSformation on a Grid（TranSGrid），一个可控且灵活的测试平台。该设计受到认知科学研究启发，这些研究强调了演绎、归纳和溯因推理在人类智能中的相互作用（Peirce, 1934 (https://arxiv.org/html/2609.19212#bib.bib27)；Shank, 1998 (https://arxiv.org/html/2609.19212#bib.bib28)；Chemero, 2026 (https://arxiv.org/html/2609.19212#bib.bib29)）。TranSGrid 旨在将这种相互作用在统一任务中进行操作化。具体而言，TranSGrid 要求模型通过生成一个动作序列将初始棋盘转换为目标棋盘，该序列由十个针对行、列或局部 2×22\\times 2 块的原子操作构成。该任务涉及演绎推理以推导和跟踪每个动作后的棋盘状态。其归纳挑战在于从观察到的动作效果如何组合、抵消或覆盖的示例中发现可重用的组合规则，并将这些规则应用于新实例。溯因推理则涉及从期望结果推断出合适的动作序列。为容纳多种有效解，TranSGrid 通过在初始棋盘上执行每个生成的序列并检查结果棋盘是否与目标匹配来评估其正确性。

在七个参数从 0.96M 到 88.43M 的 Transformer 模型上进行的 4800 个 TranSGrid 实例实验显示，所有模型在 TranSGrid 上的表现都显著差于在预留测试集上的表现。在贪婪解码下，最大模型的解决率从测试集上的 79.63% 下降到 TranSGrid 整体的 55.31%，在 TranSGridHard 上仅为 15.75%。关键的是，即使参考答案长度在训练范围内，这一差距仍然存在，表明仅凭生产力不足以评估系统性泛化能力。随后，我们通过控制变体重新引入了另外两种简化。TranSGrid (Decoupled) 使动作组合近似线性，降低了从动作效果交互示例中发现可重用组合规则的归纳需求。TranSGrid (SCAN) 通过提供除最终黄金动作外的所有动作，使目标在很大程度上是动作显式的，降低了从期望结果推断合适动作序列的溯因需求。两个变体的解决率都恢复到与预留测试集大致相当的水平，表明任一简化都显著降低了 TranSGrid 带来的挑战。

综合这些发现表明，现有任务忽略了系统性泛化中本质的归纳和溯因推理需求，而全面评估这一能力需要涉及所有三种推理形式——演绎、归纳和溯因——的任务。

## 2 相关工作
现有的系统性泛化基准大致可分为三类。第一类是动作或解决方案显式任务，如 SCAN（Lake and Baroni, 2018 (https://arxiv.org/html/2609.19212#bib.bib1)）、PCFG（Hupkes et al., 2020 (https://arxiv.org/html/2609.19212#bib.bib6)）、COGS（Kim and Linzen, 2020 (https://arxiv.org/html/2609.19212#bib.bib8)）和 HINT（Li et al., 2023 (https://arxiv.org/html/2609.19212#bib.bib7)），它们直接在输入中提供动作序列。因此，模型只需解析或执行给定的组合，而无需从目标中推断。第二类是具身导航基准，包括 gSCAN（Ruis et al., 2020 (https://arxiv.org/html/2609.19212#bib.bib3)）、GSSR（Kuo et al., 2021 (https://arxiv.org/html/2609.19212#bib.bib9)）和 ReaSCAN（Wu et al., 2021 (https://arxiv.org/html/2609.19212#bib.bib4)），要求模型在结构化世界中生成动作序列。然而，一旦目标被确定，路径通常可以直接从世界中推导出来，因此这些基准更侧重于语言具身化和目标定位，而非溯因推理。动作-动作交互也存在，但通常很简单。在这两类中，许多评估都通过测试比训练期间看到的序列更长或更深的序列来强调生产力。最后，像 Baba Is You 这样的规则变更任务通过要求智能体创建、破坏和组合规则以达到目标，提供了更丰富的动作交互（Cloos et al., 2024 (https://arxiv.org/html/2609.19212#bib.bib10)）。然而，其视觉输入和各种干扰项使得难以确定失败是源于弱的系统性泛化还是糟糕的场景理解。TranSGrid 通过要求模型在简单的可控环境中从目标推断动作序列并推理交互的动作效果，解决了这些局限性，从而能够更可靠且更少混淆因素地研究系统性泛化。

## 3 用于系统性泛化的网格变换任务
### 3.1 测量系统性泛化的挑战
尽管系统性泛化在许多领域都至关重要，但构建一个严谨且可扩展的基准仍然困难。这样的基准需要结合明确定义的原子动作空间、有意义组合的自动生成、可扩展的数据构建以及多种有效解的自动评估。然而，大多数现有任务设置只满足这些要求的一个子集。例如，在代码生成中没有原子操作的精确定义；在电子表格编辑中，有意义的动作交互通常需要大量人工努力；而像 Baba Is You 这样的任务引入了与系统性泛化无关的感知混淆。除了这些构建挑战之外，对于如何测量系统性泛化也没有共识：大多数标准都是特定任务的，生产力是唯一在各任务间广泛共享的标准。然而，生产力并非系统性泛化的必要条件，因为在训练长度范围内的泛化也可能是系统性的。这些构建和评估挑战共同解释了为什么先前工作依赖于近似线性动作组合、基于生产力的评估和动作显式目标等简化。它们也激发了构建一个可控测试平台的需求，以解决这些构建挑战和基于生产力的评估的局限性。

### 3.2 TranSGrid 任务设计
为应对这些挑战，我们引入 TranSformation on a Grid（TranSGrid），一个用于系统性泛化的可控且灵活的网格变换测试平台。图 1 (https://arxiv.org/html/2609.19212#S3.F1) 展示了该任务的概述，其原子动作空间和任务公式详细描述如下。

（a）（b）
图 1：提出的 TranSGrid 任务及其原子动作。（a）为网格操作定义的十种原子动作类型，包括行向移位、列向移位和局部块旋转。红色箭头表示每种变换的方向。（b）TranSGrid 任务说明。给定一个初始棋盘和一个目标棋盘，模型需要生成一个动作序列，当顺序执行时，能将初始棋盘变换为目标棋盘。

**原子动作空间**
如图 1(a) (https://arxiv.org/html/2609.19212#S3.F1.sf1) 所示，TranSGrid 定义了十种类型的原子动作。ROW\_LEFT 和 ROW\_RIGHT 循环移动选定行的元素，而 COL\_UP 和 COL\_DOWN 对列执行类似操作。ROW\_UP 和 ROW\_DOWN 通过交换选定行与相邻行来移动它，COL\_LEFT 和 COL\_RIGHT 类似地移动选定列。最后，BLOCK\_CW 和 BLOCK\_CCW 将 2×22\\times 2 子网格旋转 90∘90^{\circ}。设计上，每个原子动作一次修改多个单元格，作用于整行、整列或 2×22\\times 2 块。由于动作可能影响重叠区域且是顺序执行的，其效果既是状态相关的也是相互依赖的：后续动作可能强化、覆盖或反转先前动作的效果。因此，解决 TranSGrid 需要模型跟踪演变的棋盘，并推理动作-动作和动作-环境交互，为研究系统性泛化提供了一个可控、交互丰富的环境。

**任务公式**
一个 TranSGrid 实例由一个初始棋盘和一个目标棋盘组成，大小均为 N×NN\\times N，如图 1(b) (https://arxiv.org/html/2609.19212#S3.F1.sf2) 所示。111本文所有实验使用 6×66\\times 6 棋盘，但为视觉清晰，图中使用 4×44\\times 4 棋盘。令 B(0),B⋆∈VN×N,V={0,1,...,9},B^{\(0\)},B^{\{\star\}}\\in\\mathcal{V}^{\{N\\times N\}},\\quad\\mathcal{V}=\\{0,1,\\ldots,9\\}, 分别表示初始和目标棋盘，其中 Bi,j(0)B^{\{0\}}\_\{i,j\} 是初始棋盘第 i 行第 j 列的值。TranSGrid 提供十种原子操作类型，A={α1,...,α10},\\mathcal{A}=\\{\\alpha\_\{1\},\\ldots,\\alpha\_\{10\}\\}, 每种类型对棋盘执行确定性变换，如图 1(a) (https://arxiv.org/html/2609.19212#S3.F1.sf1) 所示。令 T:A×VN×N→VN×NT:\\mathcal{A}\\times\\mathcal{V}^{\{N\\times N\\}}\\rightarrow\\mathcal{V}^{\{N\\times N\\}} 表示转移函数，使得 T(a,B)T(a,B) 是将动作 a 作用于棋盘 B 后得到的棋盘。TranSGrid 中的组合是顺序的。长度为 L 的动作序列定义为 π=(a1,...,aL)∈AL.\\pi=(a\_\{1\},\\ldots,a\_\{L\})\\in\\mathcal{A}^{\{L\}}. 从 B(0)B^{\{0\}} 执行 π\\pi 得到 B(t)=T(at,B(t−1)),t=1,...,L.B^{\{t\}}=T\\bigl(a\_\{t\},B^{\{t-1\}}\\bigr),\\qquad t=1,\\ldots,L. 执行 π\\pi 后的最终棋盘因此是 B(L)B^{\{L\}}。给定实例 (B(0),B⋆)(B^{\{0\}},B^{\{\star\}})，模型被要求生成一个序列 π\\pi 使得 B(L)=B⋆B^{\{L\}}=B^{\{\star\}}。任何满足此条件的序列都被视为有效解；它无需是最短解或与参考序列匹配。

### 3.3 TranSGrid 的可控性、灵活性和可扩展性
TranSGrid 通过可调参数（包括网格大小 N、数字分布、参考动作序列长度和组合模式）提供了对任务属性的明确控制。这些参数允许系统性地改变任务结构和难度。其灵活性……