Fodor和Pylyshyn的系统性挑战仍然存在

# Fodor 与 Pylyshyn 的系统性挑战依然存在
来源：https://arxiv.org/html/2606.14512
Salvador Mascarenhas

Institut Jean Nicod, Département d’études cognitives ENS, EHESS, CNRS, PSL University\. \{michael\.goodale, salvador\.mascarenhas\}@ens\.fr

###### 摘要

近年来，神经网络在生成类人语言方面取得的成功，在认知科学领域引起了巨大轰动。许多研究者认为，关于人类认知的经典难题以及对人工智能的挑战，正在被神经网络所解决。一个显著的例子是 Jerry Fodor 和 Zenon Pylyshyn 基于系统性提出的论证，该论证指出人类展现出双向条件依存关系。例如，一个人能理解句子“John saw Mary”，当且仅当他能理解句子“Mary saw John”。符号系统解释了语言和思维的这种系统性，而神经网络则没有提供直接的解释。最近有几篇文章声称，这一挑战现在已被神经网络攻克。特别是，Brenden Lake 和 Marco Baroni 认为他们的*元学习组合性*协议匹配并可能解释了人类的系统性。我们证明这些结论为时过早。在其他发现中，我们注意到他们的模型在学习与其训练数据分布略有不同的规则时存在困难。此外，该模型即使在许多分布内的问题上也表现出非系统性。我们得出结论，Fodor 和 Pylyshyn 对神经网络的挑战仍未解决。

## 1 引言

20 世纪 80 年代，一种计算模型的成熟彻底改变了认知科学和机器学习，并在几十年后可以说改变了整个社会：联结主义 (Rumelhart 等，1986 (https://arxiv.org/html/2606.14512#bib.bib2))。与经典的符号模型不同，联结主义模型在原则上能够执行经典模型能够执行的任何计算，同时看起来可以映射到神经生物学结构。它们展现了重建符号模型大部分或全部关键见解的巨大潜力 (Smolensky, 1988 (https://arxiv.org/html/2606.14512#bib.bib17))。

三十年后，各种形式的联结主义模型构成了大型语言模型的计算基础，这些模型在象牙塔和整个社会中都强烈吸引了我们的注意。特别是，一些认知科学家认为，这些架构目前提供了我们关于自然语言的最佳理论 (Piantadosi, 2024 (https://arxiv.org/html/2606.14512#bib.bib14))，而自然语言这种人类能力传统上被认为必然需要符号模型。

### 1.1 基于系统性的论证

然而，早在它们被发明的十年里，联结主义架构就有其批评者。在 1988 年的一篇经典文章中，Jerry Fodor 和 Zenon Pylyshyn 认为，与经典的符号架构相比，这类认知理论有一个重大且*致命的*缺陷 (Fodor and Pylyshyn, 1988 (https://arxiv.org/html/2606.14512#bib.bib21))。基于*系统性*的论证要点是，许多独特的人类能力显示出双向条件依存关系：一个人拥有能力 XX 的程度，恰好等于他拥有能力 YY 的程度。自然语言提供了一个清晰的例证：一个人理解句子“Ann introduced Bill to Claire”的能力，恰好等于他理解句子“Bill introduced Claire to Ann”、“Claire introduced Dan to Ed”等的能力。至关重要的是，这种系统性并非偶然，而是认知的一个基本特征，需要解释。特别是，不存在也不可能存在*碎片化心智*，例如，能理解“Ann introduced Bill to Claire”却被“Bill introduced Claire to Ann”难住的心智。

根据 Fodor 和 Pylyshyn 的观点，问题在于联结主义模型无法预测，更不用说解释这种系统性，而经典符号系统则默认预测并解释了它。

在经典符号系统中，“Ann introduced Bill to Claire”的内容将通过一个三元关系 II 来表示，该关系连接三个项 aa、bb 和 cc，因此表示为 I\(a,b,c\)I\(a,b,c\)。这个完整命题（自然语言句子或思想的内容）的表示，至关重要的是*包含*了关系 II 以及每个关系项，这些项处于一种明确的、可以用树形图描绘的结构配置中。因此，一个能够表示 I\(a,b,c\)I\(a,b,c\) 的符号系统之所以能做到，仅仅是因为它能在一个特定结构中表示该符号公式的构成元素。由此可以推断，默认情况下，这样的系统必然能够表示 I\(b,a,c\)I\(b,a,c\) 以及所有其他良好形式的符号排列。¹¹为什么加“默认情况下”这个限定词？因为当然可以人为设计一个符号系统，阻止一个或多个可能的排列。例如，我们可以将所有项 T=\{a,b,c\}T=\\\{a,b,c\\\} 划分为 A=\{a\}A=\\\{a\\\} 和 X=\{b,c\}X=\\\{b,c\\\}，并将相关的递归子句从“如果 t,t′,t′′∈Tt,t^\{\\prime\},t^\{\\prime\\prime\}\\in T，则 I\(t,t′,t′′\)I\(t,t^\{\\prime\},t^\{\\prime\\prime\}\) 是良构的”改为“如果 t∈At\\in A 且 t′,t′′∈Xt^\{\\prime\},t^\{\\prime\\prime\}\\in X，则 I\(t,t′,t′′\)I\(t,t^\{\\prime\},t^\{\\prime\\prime\}\) 是良构的”。但显然，这个定义会更加复杂，并非“免费”得来，需要某种形式的实质性动机。这就是经典符号系统默认具有系统性的含义：符号系统可以是碎片化的，但必须付出显著且明显的努力才能做到。Phillips 和 Wilson (2014 (https://arxiv.org/html/2606.14512#bib.bib23)) 对基于*默认论证*的不满导致了他们提出一种符号观点的升级版，使用范畴论的形式化方法，精确地确定那些真正*必须*在相关意义上具有系统性的符号理论类别。此外，一个表示 I\(a,b,c\)I\(a,b,c\) 的符号系统将允许对这样的表示进行各种推理，例如 ∃x\.I\(x,b,c\)\\exists x\.I\(x,b,c\)（“有人介绍了 Bill 给 Claire”）。这些推理之所以被允许，关键在于符号表示本身的形式。也就是说，从 I\(a,b,c\)I\(a,b,c\) 产生 ∃x\.I\(x,b,c\)\\exists x\.I\(x,b,c\) 的过程，操纵了原始表示的构成成分，用 xx 替换 aa，并添加前缀 ∃x\\exists x。因为在符号架构中，推理操作进行在表示的构成成分上，所以这些系统中的推理默认是系统性的。

相比之下，在联结主义架构中，表示“Ann introduced Bill to Claire”的分布式网络并不能默认保证表示“Bill introduced Ann to Claire”的可能性。这是因为一个联结主义系统默认并不要求“Ann”、“Bill”、“Claire”和“introduced”被如此表示，才能表示“Ann introduced Bill to Claire”。同样，特定网络基于“Ann introduced Bill to Claire”的表示可能允许的推理，例如“Someone introduced Bill to Claire”，默认也不会泛化到比如说“Ann introduced someone to Claire”。由于联结主义系统默认并不表示（符号）复杂表示的（符号）构成成分，因此可以在这些系统上定义的推理过程，默认也不涉及复杂表示构成成分的操纵。

有充分的理由批评 Fodor 和 Pylyshyn 的更广泛论证及其结论，即联结主义系统充其量只能作为经典架构在大脑中如何实现的模型。但我们在这里提出的论证片段被许多领域接受为有效且相关的，包括作者的一些主要反对者。特别是 Smolensky (1988 (https://arxiv.org/html/2606.14512#bib.bib17), 1987 (https://arxiv.org/html/2606.14512#bib.bib15)) 拒绝了这种悲观的结论，但完全承认，在符号架构中基本上“免费”得到的系统性，要在联结主义架构中产生需要相当大的独创性。他提出，一类特殊的联结主义系统可以充分描述和解释系统性，特别是通过使用绑定单元，这些单元是角色向量和填充向量的张量积，提供了经典构成结构概念的模拟。

### 1.2 系统性、泛化与行为

以上足以阐述这个论证以及关于系统性的争论。然而，在我们此处关心的系统性概念附近，还有一些概念。因此，对于本文而言，同样重要的是澄清系统性问题的*根本不是*关于什么。系统性的争论*并非*关于神经网络是否可能以系统化的*方式行为*。事实上，Fodor 和 Pylyshyn (1988 (https://arxiv.org/html/2606.14512#bib.bib21)) 在他们的主要建议中对联结主义者说得非常清楚：放弃提供认知层面理论的雄心，而是将你们的工作视为一种认知层面经典符号理论的*实现*理论。当然，对于 Fodor 和 Pylyshyn 来说，如果任何有机体是系统性的，那么人类就是系统性地行为。如果联结主义架构作为经典符号认知理论的实现理论是有前途的，那么对于 Fodor 和 Pylyshyn 来说，神经网络可以实现系统性行为。他们的问题是，这些网络是否能够正确地*解释*认知的系统性属性，特别是通过解释“碎片化心智”有什么“问题”以及它们为什么不存在。

一个简单的思想实验可以帮助澄清这里感兴趣的概念。假设我们有一组心智，它们使用一种恰好允许四个句子的语言，在符号架构下我们会将其表示为 aRaaRa、aRbaRb、bRabRa 和 bRbbRb。联结主义架构没有义务将这些句子分析为涉及两个项 a,ba,b 和一个关系 RR。事实上，表示这种语言的最简单方式很可能是一个查找表：我们不妨直接列出这种语言的四个表达式。这就是 Fodor 和 Pylyshyn 的观点：这五个句子的列表，如果缺少对这些句子中每个句子的符号分析以解释它们的构成结构，就无法解释*为什么*所有使用这种语言的心智都拥有这四个句子，不多也不少。这种语言的列表实现本身并没有为其自身的完整性、其自身的系统性提供理由。只有通过对句子进行符号分析，理论才能“看到”模式是什么并解释系统性。

重要的是，该系统如何或应该如何实现的问题不受这些考虑的影响：该系统很可能恰恰实现为四个整体表达式的列表。事实上，对于如此小的语言来说，这可能是最高效的实现方式。然而，如果事实证明*所有*相关心智都拥有*所有*这四个句子，并且这种完整性或系统性告诉我们关于这些心智本质的一些重要信息，那么我们需要某种层次的分析，能够阐述这个约束并解释它。这就是符号系统相比于联结主义系统所能提供的。

一个直觉上与系统性相关且在机器学习文献中广泛讨论的概念是*泛化*，特别是对于我们这里关心的语言系统的特殊情况 (Kirk 等，2023 (https://arxiv.org/html/2606.14512#bib.bib11)；McCoy 等，2019 (https://arxiv.org/html/2606.14512#bib.bib8)；Kim 和 Linzen，2020 (https://arxiv.org/html/2606.14512#bib.bib10)；Dubois 等，2020 (https://arxiv.org/html/2606.14512#bib.bib9))。在一篇近期关于自然语言处理中泛化的广泛综述中，Hupkes 等人 (2023 (https://arxiv.org/html/2606.14512#bib.bib1)) 将其描述为“成功地将表征、知识和策略从过去经验转移到新经验的能力”。我们大致同意这个定义，并注意到它显然是一个*行为*概念：一个系统在某种程度上在新“经验”中表现出某种形式的“成功”，就实现了良好的泛化。这种泛化概念当然与系统性相关，因为我们期望系统性具有此类行为反映。此外，从语言模型评估的角度来看，使用行为指标很重要，因为在神经网络和人类中，行为构成了最直接的解释现象来源，也是与我们的语言模型实际应用最直接相关的一类现象。但很明显，这种泛化概念并不涵盖系统性在 20 世纪 80 年代争论中所有参与者心目中具有的意义。我们将在讨论部分回到这个问题。

让我们总结一下到目前为止的内容。系统性是显示能力之间深层双向条件依存关系的属性，这些关系在这些能力的本质中起着核心作用。从这个角度来看，一个能够表示 aRbaRb 但不能表示 bRabRa 的碎片化心智，在本质上是与系统性心智完全不同的一种心智。至关重要的是，系统性不仅仅是一个行为概念。一个能够表示我们本节运行示例中所有四种组合的心智，在行为上是系统性的，它将实现完美的泛化。然而，其系统性是否得到解释，将是关于我们对该心智分析的问题：是否存在一种说明来解释*为什么*这些心智总是拥有所有这四种表示？符号理论默认立即完成了工作，而联结主义理论则不能，或者至少没有相当大的数学独创性（直到今天始终反映在强大的架构约束中）是做不到的。

### 1.3 一个案例研究

在最近发表于 *Nature* 的一篇文章中，Brenden Lake 和 Marco Baroni 声称他们开发了一种特定的元训练神经网络协议，解决了来自系统性的这一挑战 (Lake 和 Baroni，2023 (https://arxiv.org/html/2606.14512#bib.bib22))。他们重点关注在特定序列到序列映射任务上训练的 transformer 模型，其中（虚构）单词的字符串被映射为彩色圆盘的字符串，一些单词对应特定颜色的圆盘，而其他单词是指令，用于转换周围的一些彩色圆盘。在介绍了他们的元学习协议和结果细节之后，我们将论证 Lake 和 Baroni 的 (2023 (https://arxiv.org/html/2606.14512#bib.bib22)) 工作未能解决，更不用说解决神经网络面临的系统性挑战，原因有三。

首先，他们的工作实际上完全专注于神经网络的*行为*。在他们的文章或补充材料中，没有任何地方 Lake 和 Baroni 告诉我们他们的元学习方案以何种方式*保证*行为系统性或者在系统性出现时*解释它*。然而，Lake 和 Baroni 直接并反复地将自己定位为回答 Fodor 和 Pylyshyn 提出的挑战。

其次，我们论证，所提出的元学习协议，声称能促进系统