看不见即所学：限制证据可见性在共享基因组语言模型社会中促进组合泛化

# 你看不见的正是你学到的：受限证据可见性有利于共享基因组语言模型社会中的组合泛化
来源：https://arxiv.org/html/2608.20054
2026年8月

###### 摘要

多模块神经网络系统通常让每个模块接触完整的输入数据。我们测试了限制证据可见性是否会影响基于梯度的训练所能发现的解决方案。一个由四个单元组成的“社会”共享一个冻结的预训练语言模型和一个低秩适配器，仅通过固定中继中的两个模型宽度连续向量进行通信。在一个前瞻性封存的自然语言函数组合任务上，我们训练了十对匹配的受限组/全局组，它们共享初始化字节、训练顺序、token布局、位置几何、参数和计算过程；唯一的区别是注意力掩码。在十对中，有九对的受限可见性“社会”在两个深度上的表现都至少比它们对应的全局可见性孪生体高出20个百分点，中位数配对优势分别为0.7648和0.6050。切断通信会使所有受限“社会”退化到随机水平，而在其复合函数从未在训练中出现过的程序上，深度三的优势仍为0.558。在六个经过审计的受限“社会”中，相同数值的数据包移植在所有测试接口上以0.94–1.00的保真度保持了下游行为；破坏性干预会导致性能崩溃；反事实数据包则将输出重定向到数学预测的答案。唯一一个高性能的全局模型同样需要通信，但其相同数值的数据包在不同情景中不可互换。因此，受限可见性并非组合性所必需；在该协议下，它显著增加了学习到可泛化中继的概率，并倾向于一个可复用、基于数值索引的接口。然而，整个预注册测试集最终正式失败，因为受限组在深度三的中位数准确率为0.6988，低于0.70的底线。一个更早的资格测试组同样未能通过全部测试：有一个模型达到了所有任务性能门槛，但所有十个模型都未能通过普通语言保持性测试，这使得该系统只能用于明确的任务特定场景。

## 1 引言

当一个可训练模块能够检查整个程序时，整个程序查找便是一种可用的解决方案。限制每个模块只能访问一个片段，就移除了这种直接的整个程序查找路径，反而可能有利于通过通信连接的可复用局部变换。本文在一个由共享的预训练语言模型构建的多模块系统中，因果地验证了这一假设。

实验对象是一个由四个单元组成的*社会*，共享一个冻结的Qwen2.5-0.5B-Instruct基因组（Qwen团队 2024 (https://arxiv.org/html/2608.20054#bib.bib26)）和一个秩为8的适配器（Hu等人 2022 (https://arxiv.org/html/2608.20054#bib.bib14)）。单元之间通过学习的连续数据包进行通信——每跳两个模型宽度的向量，是单元间唯一的信息通路——在一个固定的中继中进行，中继以一个冻结的语言模型头和一个学习的输出投影结束。任务是关于Z17\(\mathbb{Z}_{17}\)的有序自然语言函数组合；评估使用以保留短语呈现的保留有序运算符程序。处理方式是一个单一的注意力掩码干预。在*受限*组中，每个单元接收相同的固定四槽输入布局，但只能关注其分配的证据跨度：外部跨度token的直接注意力影响恰好为零，外部信息只能通过传入的数据包到达该单元。在*全局*组中，所有四个跨度都可直接读取。token布局、位置几何、可训练参数、计算、初始化字节和每对训练样本的顺序均保持固定。十对匹配组——五种初始化在两种数据顺序下——在一个在训练或结果检查前就已生成并封存的任务实例上，恰好训练了20,000次更新，并在预注册门控和位精确机器验证下进行（图1 (https://arxiv.org/html/2608.20054#S3.F1)）。

所有十个全局可见性孪生体都拟合了基本操作训练集。在保留短语的单一操作诊断中，准确率范围从0.869到0.991。其中九个随后表现出“记忆但不泛化”的模式：它们都精确拟合了深度二的训练库，而深度三训练库的精确准确率范围从0.41到1.00，保留组合则接近随机水平，在0.05–0.11之间。所有十个受限可见性孪生体都实现了显著的保留性能，深度三准确率范围从0.582到0.933。一个全局孪生体（初始化204，顺序954）是富有信息量的例外：它在深度三达到0.843，并且其通信通道是因果必要的，但相同数值的数据包移植在不同情景中失败。相比之下，所有六个经过审计的受限可见性“社会”都学习到了近似可互换的运行中间值载体。

#### 贡献。

1. 1. **匹配的证据可见性因果隔离。** 我们比较了具有相同架构、输入、位置几何、可训练参数、计算、初始化字节和训练样本流的多模块系统，唯一改变的是每个单元是否可以关注外部证据跨度。该比较是前瞻性封存的，并通过预注册门控进行评估（§4 (https://arxiv.org/html/2608.20054#S4)–5 (https://arxiv.org/html/2608.20054#S5)）。
2. 2. **在没有复合函数冲突的情况下持续存在的大效应。** 在深度二和深度三，中位数配对优势分别为0.7648和0.6050。对九个完整对的事后冲突分层分析发现，在完整仿射映射从未在训练中出现的程序上，深度三的中位数优势为0.558，表明熟悉函数查找无法解释可见性效应（§5.3 (https://arxiv.org/html/2608.20054#S5.SS3)）。
3. 3. **使用基于数值索引的数据包移植的机制检验。** 除了破坏性的通道干预外，我们根据数据包所代表的数学中间值，在不同情景间移植自然数据包。在六个经过审计的受限可见性“社会”中，相同数值的移植在所有测试接口上以0.94–1.00的保真度保持了行为，而反事实数值的移植则将输出导向数学预测的答案。最强的模型通过了所有预注册的绝对移植门控。相同的分析将受限可见性下偏好的近似可互换的数值编码，与唯一高性能全局模型的非可互换、情景依赖编码区分开来（§6 (https://arxiv.org/html/2608.20054#S6)）。
4. 4. **完整的成果报告与可用工件的发布。** 我们报告了两个正式的预注册失败：一个更早的资格测试组（0/10模型通过完整门控——尽管有一个通过了所有任务性能门控），以及当前测试集在绝对深度三底线上的0.0012的差距。我们发布了所有可用的最终检查点、评估结果、审计脚本、预注册材料和事件记录；有一个受限检查点因冲突分层分析而无法获取，对此进行了明确说明（§7 (https://arxiv.org/html/2608.20054#S7)和附录）。

## 2 相关工作

#### 多智能体系统中的可见性控制。

CoFlow（Zou等人 2026 (https://arxiv.org/html/2608.20054#bib.bib35)）在同一个多智能体架构中支持完全队友可见性和注意力掩码的智能体本地模式，在离线多智能体强化学习中提供了接近的可见性比较。Béna和Goodman 2025 (https://arxiv.org/html/2608.20054#bib.bib2)同样比较了受控模块化循环网络中的共享与分离输入通路。这些研究确立了模块级信息访问可以直接操作，但都没有评估保留程序组合或对学习的模块间中继状态进行因果审计。因此，我们的贡献并非首次在多模块系统中使用可见性掩码，而是匹配的可见性干预、封存的组合泛化以及基于数值索引的因果数据包移植的结合。

#### 分布式观察与涌现编码。

Kaszyński 2026 (https://arxiv.org/html/2608.20054#bib.bib15)研究了关于从冻结视频特征推断的潜在物理属性的离散组合通信。在当前版本中，四智能体系统在80/80个种子中收敛到近乎完美的位置解耦，而较低智能体数量和单发送者控制则明显更不可靠。这些控制支持了分布式发送者组织而非总带宽或帧覆盖率的效应。然而，该比较改变了智能体数量和消息分解；我们的处理保持了四单元架构、数据包带宽、初始化、计算和训练流固定，仅改变证据可见性。更广泛的涌现通信文献（Lazaridou等人 2017 (https://arxiv.org/html/2608.20054#bib.bib17)）将通道压力确立为编码的塑造者：容量和带宽约束（Resnick等人 2020 (https://arxiv.org/html/2608.20054#bib.bib28)）、语言组合性与任务泛化之间不完美的相关性（Chaabouni等人 2020 (https://arxiv.org/html/2608.20054#bib.bib4)）、协同适应控制（Rita等人 2022 (https://arxiv.org/html/2608.20054#bib.bib29)）以及部分可观测性塑造消息内容（Bosc和Vincent 2022 (https://arxiv.org/html/2608.20054#bib.bib3)），通常使用离散通道和指称游戏，而非基于大型语言模型基底的端到端潜在中继。

#### 模块化、工作空间与输入分离。

循环独立机制和共享全局工作空间模型研究了神经模块间稀疏、带宽有限的通信（Goyal等人 2021 (https://arxiv.org/html/2608.20054#bib.bib11); Goyal等人 2022 (https://arxiv.org/html/2608.20054#bib.bib12)）。Béna和Goodman 2025 (https://arxiv.org/html/2608.20054#bib.bib2)使用受控的两模块循环网络来改变共享与分离输入通路、稀疏的模块间连接、资源约束以及信息流的时序和带宽。他们表明，仅结构模块化并不能保证专业化，专业化有利于可分离的环境特征和资源约束；他们没有研究保留运算符程序的系统性重组。模块化系统性泛化文献（Lake和Baroni 2018 (https://arxiv.org/html/2608.20054#bib.bib16); Bahdanau等人 2019 (https://arxiv.org/html/2608.20054#bib.bib1); D’Amario等人 2021 (https://arxiv.org/html/2608.20054#bib.bib6)）表明，名义上的模块化并不能保证组合性，而规模有时可以实现它（Redhardt等人 2025 (https://arxiv.org/html/2608.20054#bib.bib27)）——这与我们关于限制是改变吸引域概率而非必然性主张的框架一致。

#### 掩码与上下文可用性作为归纳偏置。

AC-VLA（Peng等人 2026a (https://arxiv.org/html/2608.20054#bib.bib24)）结合了指令分解、密集子任务监督、混合训练以及针对捷径视觉输入的状态条件非对称掩码。其消融研究也隔离了显著的纯掩码效应：在原始演示训练中添加腕部视图掩码，将空间/目标OOD成功率从35.5/46.6提升至47.3/67.0，而完整的分解加掩码系统达到64.2/73.3。这是一个针对单一策略感知捷径的干预，而非多模块证据可见性或通信实验。Ma等人 2026a (https://arxiv.org/html/2608.20054#bib.bib19)表明，任务结构化的加法注意力掩码先验可以持续改变Transformer在受控布尔和算术任务上学习的外推解决方案，尽管他们的掩码是有限的、可学习的偏置，而非硬性的证据可见性边界。Uzunoglu等人 2026 (https://arxiv.org/html/2608.20054#bib.bib32)表明，丰富的任务相关训练时上下文可以将学习从参数内化转向上下文依赖，包括通过将梯度压力从前馈模块重新分配到注意力。Ootani 2026 (https://arxiv.org/html/2608.20054#bib.bib23)比较了在完全可枚举的微小Transformer中信息匹配的符号化、分解式、共享式和纠缠式输入通路，发现输入通路结构影响少样本绑定——这是输入路由塑造学习到的解决方案的一个受控的单一模型先例。总体而言，这些工作支持了信息可用性可以重定向优化的更广泛假设，但没有一项研究的是匹配的多单元潜在中继，其中可见性是唯一的干预因素。

#### 多智能体大型语言模型系统与潜在通道。

推理时的大型语言模型社会通常交换自然语言消息，通常具有大量的上下文重叠（Li等人 2023 (https://arxiv.org/html/2608.20054#bib.bib18); Wu等人 2023 (https://arxiv.org/html/2608.20054#bib.bib33); Du等人 2024 (https://arxiv.org/html/2608.20054#bib.bib7)），而最近的系统通过嵌入、隐藏状态或KV缓存进行通信。聚合增益和破坏性消息消融本身并不能识别接收者是否使用特定于示例的发送者信息。Zhang和Emu 2026 (https://arxiv.org/html/2608.20054#bib.bib34)在潜在消息边界进行干预，使用无消息、其他示例、自生成和当前示例消息；Cheng等人 2026 (https://arxiv.org/html/2608.20054#bib.bib5)类似地比较了原生、混乱、归零和矩匹配的KV中继。他们的发现表明，即使被与答案无关的消息替换，大的通道效应也能存活。StateBridge（Peng等人 2026b (https://arxiv.org/html/2608.20054#bib.bib25)）使用免训练的封闭形式正交变换（带范数校准和词汇锚定）将发送者隐藏状态对齐到接收者的输入空间；它解决的是跨智能体潜在空间的兼容性和可移植性，而非学习的协议形成、证据可见性或因果语义互换。因此，我们将破坏性干预视为必要的控制，并将机制主张建立在自然的相同数值和反事实数值数据包移植的基础上。

#### 因果抽象与互换干预。

因果抽象将机制性假设视为高层因果变量与低层神经状态之间的对齐，通过询问互换干预是否产生相应的反事实效应来测试（Geiger等人 2021 (https://arxiv.org/html/2608.20054#bib.bib8); Geiger等人 2025 (https://arxiv.org/html/2608.20054#bib.bib10)）。分布式对齐搜索将此框架扩展到在非标准分布式子空间中表示的变量（Geiger等人 2024 (https://arxiv.org/html/2608.20054#bib.bib9)）。我们的数据包移植在明确的通信边界应用相同的标准，其中提出的高层变量——运行中的Z17\(\mathbb{Z}_{17}\)值——是精确已知的。

#### 可复用的因果接口。

语言模型中的隐藏API（Ma等人 2026b (https://arxiv.org/html/2608.20054#bib.bib20)）使用分叉的未来操作、架构竞争、角色对齐移植、局部性控制和因果中介来识别单一语言模型内的可复用接口。它是我们关于因果等效内部状态应在不同下游消费者下保持可互换的主张最接近的先例。相反，我们研究的是一种