近似同态与转换器中的收敛表示

# 转换器中的近似同态与收敛表示  
来源：https://arxiv.org/html/2608.20428  
Santiago Cifuentes  
2026年8月  

###### 摘要  
我们研究受控随机过程（特别是转换器）的最小表示在扰动下的稳定性问题。这一问题源于近期实验中发现神经网络的潜在表征具有预测状态结构。我们考虑标准转换器、线性转换器和预测转换器，引入近似同态概念来捕捉它们之间的局部结构相似性，同时定义比较其诱导动力学（我们称之为接口）的度量，并证明近似同态的可组合性等性质。针对标准转换器，我们证明存在某些简单接口，使得不同动力学实现之间不存在近似同态。相反，对于任意有限秩接口 $\mathcal{I}$，我们证明所有实现与 $\mathcal{I}$ 足够接近接口的最小线性转换器，都存在到 $\mathcal{I}$ 最小实现的近似同态，且误差随扰动大小线性增长。在信念状态不可区分性的温和假设下，我们利用残差度量证明了预测转换器的类似稳定性结果。这些结果界定了典型转换器表示在扰动下保持鲁棒的条件，同时表明若无额外的结构限制这种收敛性将会失效。在这些抽象结构嵌入现代人工智能模型隐藏层的假设下，这为潜在表征展现结构收敛性的假说提供了理论支持。  

## 1 引言  
自神经网络诞生以来，许多人工智能架构在输入输出门之间包含了某种隐藏层或中间层，用于编码计算过程的中间结果。在这些层中，模型通常通过训练学习表征潜在变量和对其目标有用的通用信息[4,6,31]。尽管训练过程具有不确定性，受训练算法、初始参数和超参数选择等因素影响，但自深度学习革命伊始就已观察到不同模型的某些隐藏层结构具有一致性[33,37]，即使这些模型采用不同架构实现。存在多种度量这种相似性的方法，但大多数方法都能发现这种“收敛现象”[28]。例如可通过比较每层内潜在向量的分布[9,29]、比较不同层的功能特性[28]，或寻找能够转移特征的线性变换[2,9,13,18]等方式来度量相似性。  

这些实验结果催生了近期提出的“柏拉图式表征假说”[23]：“在不同数据和模态上针对不同目标训练的神经网络，正在其表征空间中收敛至共享的现实统计模型”。尽管该假说的有效性尚不明确[10,15,19]，但多数结果表明，针对相似任务训练的不同模型有时确实存在某种收敛性。总体而言，有三个核心假说有助于理解这一现象[23]：  
- **简单性偏好假说**认为，通过随机梯度下降训练的深度人工智能架构倾向于收敛至结构简单的表征，这些表征通常具有良好的泛化能力[5,25,51]。  
- **容量假说**指出，随着模型参数增加，其涵盖的行为可能性集合扩大，因此不同架构在允许的实例化方面更可能产生非空交集[23]。  
- **多任务假说**表明，能够同时执行多重任务的表征数量更少[8,39]，因此随着训练目标复杂化，最优配置变得愈发稀疏。  

目前存在持续的理论研究计划为这些假说提供支持。例如，隐式正则化[22]、神经坍缩[24]等概念，或奇异性学习理论[52]等完整框架，都试图解释现代梯度下降如何在参数规模足以导致过拟合的情况下，于当前深度学习架构中找到鲁棒表征。另一种方法基于**世界模型**概念[20,21,44]。更准确地说，多项实证和理论结果支持以下观点：现代智能体发展出与周围环境动力学描述等效的内部机制[11,38,43,46]。若我们使用数学抽象形式化这些结构，便可探讨实现相同动力学的抽象集合是否具有共享结构[44]。若答案肯定，则为从相似数据分布学习的智能体应在内部表征某些方面共享特性这一观点提供了支持。该思路的示意图见图1。  

> **图1**：基于世界模型理解收敛结构的方法。我们预期神经网络架构的每个内部层通过某种数学抽象（如转换器）编码世界模型。随后，通过寻找表示动力学的最小模型，在这些抽象中探寻收敛结构。  

本文采用**转换器**作为世界模型的抽象工具研究此问题。转换器是具有隐藏状态、输入和输出的受控随机系统，它诱导一个**接口**：对于每个有限干预序列，接口指定真实世界中相应观测序列的概率分布。此类结构最近被研究作为形式化世界模型的工具[7,44]，不同实验结果支持现代人工智能智能体在残差流中实现此类结构的观点[46,47]。此外，文献[44]证明在某些情况下，实现指定行为的转换器集合存在唯一最小实现，所有其他实现都能结构映射至该最小实现。从我们的视角看，这是鼓励收敛结构可能性研究的积极成果。  

我们的目标是通过弱化部分假设来改进此类结果。具体而言，旨在通过增强其对噪声和近似的鲁棒性来完善结果。考虑两个实现**相似**行为（通过适当度量测量）的转换器，它们是否共享通过其他度量测量的某些结构？需注意实际场景中预期不同模型从略有差异的数据集学习，因此要求转换器收敛性在实现略有不同的接口时仍成立。  

#### 我们的贡献  
我们考虑三类转换器：“标准”转换器、线性转换器和预测转换器，并完成以下工作：  
1. 为所有类型转换器给出近似同态定义，可用于判定转换器何时与另一转换器具有ε相似性。该定义对组合具有鲁棒性，并能在折扣度量（即使用随步数指数衰减折扣因子加权长期预测差异的度量）下保持转换器所表示的动力学，误差按O(ε)规模缩放。  
2. 在标准转换器语境下，我们证明存在某些接口，使得实现这些接口的标准转换器在结构上相距遥远（使用我们的近似同态概念测量距离）。此结果表明文献[44]关于普通转换器不存在最小表征的结论，无法通过在同态中引入误差项来挽救。  
3. 对于线性转换器，我们证明对于重要子集接口，所有实现与接口Iε相似（对于足够小的ε>0）的最小线性转换器，都能映射至某个公共线性转换器，引入的误差按Γ_I ε规模缩放，其中Γ_I是仅依赖于I的常数。这表明线性实现的最小性对接口小邻域内的噪声具有鲁棒性。此结果通过考察最小线性转换器的规范构造获得，该构造基于接口的**汉克尔矩阵**。  
4. 最终，我们利用基于计算力学中ε机器概念[3]的最小预测实现构造，获得预测转换器的类似结果。  

综合来看，这些结果表明对于线性和预测转换器族，最小表征（及潜在收敛结构）的存在性对误差具有鲁棒性。因此，在以下假设下我们为柏拉图式表征假说提供了更多理论支持：世界模型以这些抽象形式出现在现代人工智能架构的内部结构中。对于预测转换器，这已在实证研究中部分观察到[46,47]。尽管此前未有实验在现代模型的隐藏层中发现线性转换器，但我们怀疑这些架构应利用其包含的任何表征均嵌入线性空间的事实，因此它们倾向于选择线性转换器而非预测转换器是自然的。我们认为未来研究的富有成效方向是复现文献[47]的设置，但在残差流中寻找最小线性转换器（或功能等效机制）。  

本文剩余部分组织如下：第2节回顾标准、线性与预测转换器及其精确的归约与最小性概念。第3节引入近似同态、接口度量以及可组合性与连续性结果。第4节研究邻近接口的近似公共最小值，分别给出无约束转换器的负面结果及线性预测转换器的正面结果。最后，第5节通过总结结果、讨论局限性并描述未来研究方向结束全文。所有证明附于附录以增强可读性。  

#### 相关工作  
有限状态转换器在自动机理论中有悠久历史，始于米利机和摩尔机[34,36]。其确定性形式描述内部状态随输入更新并产生输出的系统。加权和概率变体用数值权重或随机核替代确定性转换，已在形式语言理论中得到广泛研究[35]。本文考虑的随机转换器与受控马尔可夫模型密切相关，尤其类似于马尔可夫决策过程（MDP）[40]。为识别收敛结构，我们使用同态概念，它对应保持局部结构的从一个转换器到另一个的映射。此类“粗粒化”操作在我们前述的不同抽象中有着悠久历史。对于马尔可夫链，经典可合并性识别聚合后转移概率一致的状态[26]。概率互模拟为标记概率转移系统提供相关的行为等价[30]。在MDP文献中，文献[17]基于互模拟发展精确状态等价和模型最小化，而文献[41]将MDP和半MDP同态表述为保持奖励并聚合转移概率的映射。这些概念随后被组织进更广泛的状态抽象分类体系[32]。  

我们将研究允许某些误差的同态概念，故称其为近似同态。在MDP语境中，此类近似归约已被考虑[1,42,50]，我们的定义及关于组合鲁棒性和在折扣度量下保持接口的结果在文献中有类似表述。在概率转移系统中，近似互模拟的概念......