可移植语义，私有方言：语言模型细胞间潜在通信中的重用与负迁移

# 便携语义，私有方言：语言模型细胞间潜在通信中的复用与负迁移

来源：https://arxiv.org/html/2609.11365
2026年8月

###### 摘要

在共享基因组的语言模型社会中，受限的证据可见性倾向于支持可复用的、价值索引的潜在包接口，而在前序研究中，唯一高性能的全局可见模型学习了一个情节纠缠码（Marincat, 2026 (https://arxiv.org/html/2609.11365#bib.bib24)）。本伴随研究对这类涌现接口提出了三个二阶问题：独立训练的社会是否共享一种包语言、在何处严格的零样本迁移会失败、以及继承的接口状态是有助于还是损害后续学习。首先，对六个独立训练的受限社会所有30个有序非对角线对进行泄漏控制的因果互操作性审计——使用封存的保留值、程序、表述和包位置，以及一个预注册的原始/正交/线性/非线性对齐阶梯——表明，这六个语义相似的接口并不构成一种原始语言：唯一观察到的原始互操作性存在于相同初始化层内。一对相同初始化的接口在两个方向上完全可互操作，另一对表现出非对称的部分兼容性，而所有26个跨初始化方向均无法通过任何冻结的对齐阶。其次，在测试的分解和单一的封存Family-D源表述内，源跨度控制将受限社会中的严格零样本失败定位于新操作符指令的解释和执行，而非源状态解析、包承载或输出解码。第三，在一个匹配的适应性因子实验中，全局训练的通信接口表现为一个严重的负迁移先验：仅重新初始化包读取器、写入器和嘴部投影——同时保留相同的全局训练低秩适配器、目标流和预算——将最终三层深度准确率从0.169提升至0.857，而冻结的继承接口则停留在随机水平。第四，在两个受限检查点和每个检查点的两个独立冻结目标流中，继承接口从未超过新鲜接口对照组（预注册的0.10优势阈值）。综合来看，这些结果表明，便携语义无需共享原始坐标，并且情节纠缠的通信可能成为严重的负迁移先验。所有主要结论受限于一个近迁移17状态设置；负迁移因子实验涉及一个全局可见的父辈检查点，而附录A补充了一个独立的后验标记全局双胞胎案例。

## 1引言

前序研究（Marincat, 2026 (https://arxiv.org/html/2609.11365#bib.bib24)）训练了四细胞社会，其语言模型细胞共享一个冻结的预训练基因组和一个低秩适配器，并仅通过学习的连续包进行通信。其核心因果结果是，限制每个细胞的证据可见性显著增加了学习到泛化通信中继的概率，并且在限制条件下学习到的中继反复揭示了一个近似*价值索引*的包接口：当包承载相同的运行中间值时，自然包在检查点内是可互换的。唯一高性能的全局可见模型也依赖于其通道，但其包在不同情节间不可互换——这是一种*情节纠缠*码。随后的可移植性探查（父论文附录F）显示，每个受限接口能将其价值码完美迁移到新的指令家族中，但整个冻结社会的严格零样本迁移失败。

这些结果均在检查点内或谱系内。它们留下了三个对于任何希望*复用*涌现潜在接口的计划至关重要的二阶问题——例如，通过在任务训练前预训练通信，或组合独立训练的代理：

1. 1.互操作性。独立训练的社会是收敛于一种共享的包语言，还是收敛于私有的方言？如果是方言，它们是否通过简单变换相关联？
2. 2.失败定位。当一个冻结的社会在新指令家族上零样本失败时，是哪个阶段失败——解析新的源语句、传递数值、执行新操作符，还是解码输出？
3. 3.迁移价值。继承一个训练好的接口是加速新家族的学习、毫无作用，还是主动损害学习？

我们通过一个预注册的四部分战役（P1-P4）来回答这些问题，该战役在前序研究发布的检查点上，按照封存的清单、冻结的决策规则和比特精确的机器准入执行。P1是对六个审计的受限社会所有30个有序非对角线对进行的因果跨模型移植审计。P2是一个源跨度控制，用于隔离解析与发布阶段。P3是在全局可见检查点上进行的匹配组件重初始化因子实验。P4是针对受限检查点接口继承比较的第二流复制。

#### 贡献。

1. 1.一个用于涌现潜在通信的泄漏控制因果互操作性审计。在六个独立训练社会的每一对有向配对上，我们在拟合中排除的语义值和包位置上测试原始和学习的包对齐，使用自然包注入和错排控制（§4 (https://arxiv.org/html/2609.11365#S4)）。
2. 2.初始化分层的方言。学习的价值接口在语义上相似，但不构成一种原始语言。原始互操作性对于一对相同初始化的接口是精确的，对于另一对是部分的，而所有跨初始化方向均无法通过任何冻结的对齐阶——这与初始化锚定、训练扰动的坐标方言一致（§4.2 (https://arxiv.org/html/2609.11365#S4.SS2)）。
3. 3.接口级负迁移。在一个匹配的适应性因子实验中，父辈队列中唯一成功的全局可见模型具有一个情节纠缠的接口，它充当一个严重的负迁移先验：仅重新初始化读取器、写入器和嘴部投影，同时保留相同的LoRA，将目标准确率从0.169提升至0.857（§6 (https://arxiv.org/html/2609.11365#S6)）。这是一个检查点特定的机制案例研究，而非对全局训练接口的群体层面估计。

两个额外的结果精炼了这些贡献。每个受限检查点的第二独立冻结目标流复制了预注册的大继承接口益处的缺失，同时原始失败标准保持不变（§7 (https://arxiv.org/html/2609.11365#S7)），而P2将零样本失败定位于目标计算内部（§5 (https://arxiv.org/html/2609.11365#S5)）。

#### 新颖性，精确陈述。

先前的工作研究了独立训练代理间的零样本协调、跨模型表示对齐、因果交换干预以及来自热启动的负迁移。据我们所知，这是第一项将涌现神经通信接口的封存因果互操作性审计与匹配组件重初始化因子实验相结合的研究，该实验将负迁移定位于学习的通信接口本身。我们并非声称第一个因果跨模型移植、第一个功能性模型对齐、第一个用于潜在代理通信的正交对齐，或第一个错排控制的通信审计；§3 (https://arxiv.org/html/2609.11365#S3)详述了每个组成部分的先例。

## 2设置与先前结果

#### 社会。

一个社会是一个固定中继中的四个细胞，共享一个冻结的Qwen2.5-0.5B-Instruct基因组（Qwen Team, 2024 (https://arxiv.org/html/2609.11365#bib.bib30)）和一个秩8的LoRA（Hu et al., 2022 (https://arxiv.org/html/2609.11365#bib.bib17)）。每个细胞读取其分配的证据范围和传入包，并提交一个由两个模型宽度（896维）连续向量组成的传出包——唯一的细胞间信息通道；最后一个细胞通过一个冻结的语言模型头加一个学习的嘴部投影进行解码。任务是有序的自然语言函数组合，定义在Z17上（随机水平=1/17≈0.0588）；评估使用保留的运算符程序和保留的表述。在*受限*臂中，每个细胞只能关注其自身的证据范围；在*全局*臂中，所有范围均可读。检查点按初始化和数据顺序命名：例如m204_o954是初始化204在顺序954下训练的。六个审计的受限检查点是m200_o950、m201_o951、m203_o903、m203_o953、m204_o904和m204_o954；唯一高性能的全局可见检查点（记为G）共享初始化204和顺序954。

#### 此处使用的父结果。

所有六个审计的受限社会都展现出近似价值索引的包接口：在检查点内，自然同值包移植在所有测试接口上保持0.94–1.00的行为保持度，而反事实值包将输出重定向到数学预测的答案。G比较器需要其通道，但其同值包在不同情节间不可互换（Marincat, 2026 (https://arxiv.org/html/2609.11365#bib.bib24)）。

#### 可移植性探查（父附录F）。

一个新的指令家族（Family D）在相同的Z17载体空间上定义了一组新的仿射变换，与Family A没有精确的基元映射重叠，运算符词汇不相交，且表述分布全新。严格的零样本迁移在所有七个检查点上均在随机水平失败，但失败结构非常清晰：将六个审计受限社会中每一个的Family-A价值包移植到Family-D情节中，在载体可移植性、嘴部解码可移植性上保持1.000的行为保持度，并且详尽的网格搜索显示没有新运算符执行。该家族可以从头学习（一个新社会在20,000次更新内达到0.9167的三层深度准确率，在2,500次时通过0.40），并且在两个特意选择的受限检查点中，一个接口继承探针发现冻结的继承接口支持Family-D学习，而继承接口状态相对于新鲜接口并未带来预注册的≥0.10优势。P1-P4将这些观察转化为封存的、受控的比较。

#### 战役纪律。

实验P1-P4在执行前已在书面微型计划中冻结。P1额外在包采集前提交的启动清单下运行，固定了值和程序分割、错排、映射器规范和种子、检查点哈希以及分类脚本；其封存清单在计算任何保留分数之前记录了拟合库、测试库和映射哈希。P2-P4使用冻结微型计划中承诺的检查点标识、目标流种子、臂、预算、阈值和解释规则。评估机器仅在经过黄金训练段的比特精确回溯和匹配的新世界指纹后才获准进入。

## 3相关工作

#### 因果交换与跨模型对齐。

因果抽象通过交换干预测试内部状态是否实现高层变量（Geiger et al., 2021 (https://arxiv.org/html/2609.11365#bib.bib13)）。模型对齐搜索（Grant, 2025 (https://arxiv.org/html/2609.11365#bib.bib15)）学习可逆的跨网络映射，以因果方式转移变量值（包括数量）到不同种子训练的网络——这是反对任何宽泛的“第一个因果跨模型迁移”主张的最有力先例，因此我们不做此主张。功能性的跨模型兼容性也早于此工作，通过变换和拼接层（Lenc and Vedaldi, 2014 (https://arxiv.org/html/2609.11365#bib.bib20); Bansal et al., 2021 (https://arxiv.org/html/2609.11365#bib.bib5)）以及旨在去除种子依赖旋转的相对表示（Moschella et al., 2022 (https://arxiv.org/html/2609.11365#bib.bib25)）；Almudévar和Ortega（2026 (https://arxiv.org/html/2609.11365#bib.bib3)）连接了功能和表示相似性，并强调了映射器容量依赖性，这与我们的对齐阶梯相关。区分P1的是其组合：被移植的状态是专门为通信学习的消息；高层变量（运行中的Z17值）是精确已知的；互操作性在独立训练系统的所有有向配对上进行测试；接收者的行为通过将供体的自然包注入其实际下游计算来测试；对齐拟合通过保留值、程序、表述、位置和不相交的包实例与评估分离；映射器在打开分数之前以非自适应方式冻结；正确的注入通过无不动点的错排和打乱对照进行检查。错排是一个验证特性，而非方法学上的首创。

#### 语言模型间的潜在通信。

近期系统通过隐藏状态而非文本进行通信。一个通用激活接口为每个模型学习一个适配器对（Kim et al., 2026 (https://arxiv.org/html/2609.11365#bib.bib19)）；StateBridge使用免训练的闭式正交变换将发送者状态对齐到接收者的输入空间（Peng et al., 2026 (https://arxiv.org/html/2609.11365#bib.bib28)），这预先阻止了任何声称P1是第一个用于潜在代理通信的Procrustes式对齐的说法。XBridge识别了连续桥接中的实体落地失败（Yang et al., 2026 (https://arxiv.org/html/2609.11365#bib.bib40)）。潜在通道的因果审计使用不匹配、错排、归零和矩匹配控制（Zhang and Emu, 2026 (https://arxiv.org/html/2609.11365#bib.bib41); Cheng et al., 2026 (https://arxiv.org/html/2609.11365#bib.bib9)），而Truong and Phan（2026 (https://arxiv.org/html/2609.11365#bib.bib35)）将不相交的对齐和探针数据与泄漏审计结合用于供体特定的指纹检测，同时明确将其主张限制为可检测性而非可移植性或因果持续性。Zhang and Xin（2026 (https://arxiv.org/html/2609.11365#bib.bib42)）报告高几何对齐不一定导致因果跨模型迁移，而Cardenas Piepereit（2026 (https://arxiv.org/html/2609.11365#bib.bib8)）发现预注册的因果激活迁移在三个解码器对中仅有一个成功，尽管表示对齐具有可比性——两者都直接强化了我们区分几何对齐和功能性包互操作性的观点。隐藏API（Ma et al., 2026 (https://arxiv.org/html/2609.11365#bib.bib23)）在单一模型内识别可复用的因果接口；我们研究的是为细胞间通信专门学习的接口。

#### 约定、初始化与跨玩法。

涌现通信研究已经确立，独立训练的伙伴可能收敛于不相容的任意约定：Other-Play正是针对这种失败（Hu et al., 2020 (https://arxiv.org/html/2609.11365#bib.bib18)），准等价发现寻求跨独立运行协调的协议（Bullard et al., 2021 (https://arxiv.org/html/2609.11365#bib.bib7)），群体异质性影响约定稳定性（Rita et al., 2022 (https://arxiv.org/html/2609.11365#bib.bib31)），跨种子跨玩法本身只是一级鲁棒性（Wolski et al., 2026 (https://arxiv.org/html/2609.11365#bib.bib38)），而翻译