超越坐标规范：一种用于在Neural Collapse后检测供体特异性功能指纹的审计协议

# 超越坐标规范：神经坍缩后供体特异性功能指纹可检测性的审计协议  
来源：https://arxiv.org/html/2607.11967  
Truong Xuan Khanh¹，Phan Thanh Duc²  

¹H&K Research Studio, Clevix LLC, 越南河内  
²越南银行学院, 越南河内  
[email protected]  
[email protected]  

###### 摘要  
独立训练的神经网络在构造上没有共享的神经元索引参考系，因此直接的跨轨迹比较需要考虑坐标自由度。神经坍缩（Neural Collapse）非但没有解决这一问题，反而使其更加突出：独立训练的网络会收敛于一个共享的低维几何结构，由此引出一个问题：在收敛之后，轨迹特定的功能变异是否仍可区分。我们将三个经验性主张——可检测性（detectability）、可移植性（transplantability）和因果持续性（causal persistence）——区分开来，并首先处理可检测性。通过使用五个独立训练的 MLP-5 网络，在论文匹配的 MNIST 神经坍缩重建设置中，我们拟合一个正交 Procrustes 对齐，并应用相应的仿射校正，将供体分类器头部映射到受体坐标中。在拟合的坐标变化下，仿射头部变换能精确保持供体 logits，而跨网络表示拟合质量则单独评估。我们进一步测量了对齐的欠定补集（underdetermined complement），并表明它不能解释下游的身份识别结果。占主导的低维谱核心在坍缩完成前已基本存在，而坍缩主要抑制了一个低能尾部。在对齐支撑集内，供体特异性功能指纹在受体级基线校正后仍可区分：所有 20 个有序供体-受体对均被正确识别，精确置换检验 p=0.0083，即五供体设计的统计分辨率下限。在发现实现泄漏、进行校正并重新运行完整分析后，识别裕度基本保持不变。这些发现表明，在本研究使用的操作性测试下，可检测性成立，但并非可移植性或因果持续性，后两者需要单独的干预实验。更广泛地说，本研究展示了如何将坐标对齐、模糊性诊断、泄漏控制和留出识别结合起来，在受控环境中测试跨网络功能变异的残留程度。至于相同协议是否在其他架构、任务或跨模型应用中仍然有效，则是一个开放的经验性问题。

## 1 引言

### 1.1 动机：跨网络比较中的规范问题

比较独立训练的神经网络是多个活跃研究领域的核心。收敛学习研究询问不同的训练运行是否发现共同的表示；模型拼接（model stitching）和模型合并（model merging）询问来自不同网络的组件是否可兼容；机制可解释性越来越多地比较跨独立训练模型的特征或回路。这些问题在目标和干预方式上各不相同，但共享一个基本的测量困难：独立训练的网络不具备公共的神经元索引参考系。因此，一个网络中的一个单元、方向或分类器权重与另一个网络中相同索引的对象没有直接的坐标对应。独立训练的解可能使用不同排序或旋转的内部坐标来编码相似的计算，而真正不同的功能在聚合几何摘要下可能显得表面相似。如果不明确考虑这种坐标自由度，跨网络差异就无法被清晰地解释为有意义的功能变异或任意的基失配。

### 1.2 核心问题

神经坍缩提供了一个特别受控的环境来研究这个问题。独立训练的网络收敛于一个共享的低维几何组织（Papyan 等，2020 (https://arxiv.org/html/2607.11967#bib.bib11)）：类内变异性收缩，类均值接近等角单纯形，分类器方向与该单纯形对齐。这种通用结构消除了一个可能导致宏观表示变异的来源，但本身并不能证明得到的网络在功能上不可区分。事实上，神经坍缩使规范问题更加尖锐，而非解决它。一旦共享几何结构出现，任何剩余的跨轨迹差异可能反映至少三种可能性：未解决的坐标自由度、受体特异性结构，或供体特异性功能残余。区分这些可能性需要的不仅仅是观察表示相似性。它需要一个功能意义得到验证的对齐、对其欠定方向的直接审计，以及一个不使用被评估查询来定义其自身基线的识别测试。这直接引出了本文要解决的问题：跨轨迹变异何时反映可检测的供体特异性功能特征，何时可归因于坐标规范或受体级结构？我们小心地区分三个主张，否则它们可能会被合并到“同一性”这个词中。供体特异性特征可能是可检测的，即通过特定的测量程序在同时访问两个网络的情况下可恢复。可移植的，即能够被移动到不同的网络中并仍然存在。因果上持久的，即在这样的移植后能继续影响受体网络的行为，而不是立即被覆盖或吸收。这三个主张相互不蕴含，一个层次上的结果不应被解读为其他层次的证据。本文处理第一个主张。其余两个定义了论文的边界，而非其结论。

### 1.3 方法概述

我们通过一个刻意受限的实证研究来探讨这个问题。五个独立初始化的 MLP-5 网络在 MNIST 上训练，采用一个论文匹配的已发表两阶段协议的重建版本，该协议被报道能引发神经坍缩；此重建并非精确复制，因为一些训练细节无法从已发表描述中完全恢复，我们明确指出了这一点，而不是假设它完美。由于独立训练的网络没有共享坐标框架，它们之间的任何比较首先需要一个对齐程序；我们使用一个正交 Procrustes 拟合，结合仿射校正，并验证了在拟合的坐标变换下能精确保持供体 logits，而跨网络表示拟合质量则单独评估。然后，我们表征对齐后表示共享的低维结构，再问供体特异性功能特征是否能在受体级基线校正后仍在此结构内保持可区分。

### 1.4 发现总结

我们的发现形成一系列五个主张，每个建立在前一个之上。神经坍缩在测试的设置中在所有五个种子上均得以复现，坍缩阈值和特征范数落在一个一致的范围内。仿射头部变换经验证在拟合的坐标变化下精确保持供体 logits，而跨网络表示拟合质量则单独评估。这里测量的特定欠定分量——对齐在校准支撑子空间之外的作用——是实际测量的而非假设的，并被证明不能解释后续的身份识别结果。对齐后残留的结构位于一个共享的低维支撑内，该支撑在坍缩完成前已经存在；我们将此报告为次要的结构性观察，而非论文的核心贡献。在该共享支撑内，供体特异性功能指纹在受体级基线校正后仍然可靠可区分，达到了五种子设计的统计分辨率极限，且在发现实现泄漏、进行校正并重新运行完整分析后，识别裕度基本保持不变。综合这些结果，证明了供体特异性功能指纹在本研究使用的操作性测试下是可检测的。它们并未证明这些指纹在干预下是可移植或因果上持久的；本论文中没有实验将结构移动到网络之间或在训练恢复后跟踪其命运。

### 1.5 贡献

本文做出四个贡献。首先，一个经泄漏审计的协议，用于测试神经坍缩表示中供体特异性功能的可检测性。该协议结合了仿射校正的对齐程序、对齐欠定补集的明确测量、基于秩的结构表征、不相交的校准/模板/探针分割，以及带精确置换检验的模板匹配识别。这些组件共同提供了一个可复现的操作性测试，用于区分供体特异性信号与本设置中检查的坐标和数据依赖混淆。至于该协议是否有效迁移到其他架构、任务或跨模型应用，仍有待测试。其次，经验性证据表明，在测试的设置中，供体特异性功能指纹在移除坐标规范并进行受体级基线校正后仍然可检测。所有 20 个有序供体-受体对在不相交的模板和探针分割下全部被正确识别，精确置换 p 值处于五供体设计的统计分辨率极限。这确立了操作性意义上的供体特异性可检测性；并未确立可移植性或因果持续性。第三，一个次要的结构性观察：在测试的种子上，神经坍缩收敛到的占主导的低维谱核心在坍缩完成前已基本存在，坍缩阶段主要作用是抑制低能谱尾部，而非从头构建该核心。该发现以其测量范围报告，并非作为神经坍缩的一般性论述。第四，一个明确的概念区分——可检测的、可移植的和因果上持久的同一性——旨在防止第一个被解读为后两个的证据，无论是在本文中还是在未来解决同一问题的研究中。以上顺序反映了本文自身的重点：前两个贡献是核心，第三个是次要的，第四个是适用于所有贡献的概念工具。本研究的测量问题并非神经坍缩独有。关于表示相似性、收敛学习、模型拼接、模型合并和跨模型可解释性的问题都要求某种程度上考虑如何将任意坐标差异与有意义的变异分开。本文并未测试那些应用。相反，它在刻意受限的神经坍缩设置中开发并审计了一个操作性程序。该设置提供了一个受控案例，其中坐标规范、共享低维几何和供体特异性残余变异可以单独检查。由此产生的程序是否在此设置之外有用，是后续验证的方向，而非本工作的结论。

### 1.6 路线图

“方法”部分完整描述了训练协议、对齐和秩分析程序以及指纹识别 pipeline，包括开发过程中发现并修正的泄漏。“结果”部分报告了跨种子的神经坍缩复现、对齐程序的验证、对齐后表示的结构表征以及供体识别结果。“讨论”部分对照前面引入的可检测性/可移植性区分解读这些发现，定位次要结构发现，直接陈述论文的局限性，并明确说明超越可检测性所需的因果干预。论文的组织方式尽量将实施、证据和解释分开。

## 2 方法

### 2.1 实验设置

#### 2.1.1 架构与训练协议

我们训练了一个 MLP-5 网络（Flatten -> 五个宽度为 512 的 Linear-ReLU 模块 -> 线性分类器头部，K=10）在 MNIST 上，遵循 Rupa (2026 (https://arxiv.org/html/2607.11967#bib.bib12)) 描述的两阶段协议的论文匹配重建：一个交叉熵预训练阶段（200 个 epoch），诱导高训练准确率，随后一个 MSE 阶段（400 个 epoch，one-hot 目标），诱导神经坍缩。线性层使用 Kaiming 正态权重初始化，零偏置，与源论文中的架构描述一致。优化使用 Adam（lr=1e-3, weight decay=1e-4），配合整个 600 epoch 运行的余弦退火。批大小（128）以及在阶段 1/2 转换处的确切余弦调度范围在源论文描述中未指定，且无法对照原始实现进行验证；两者在此均作为临时配置选择而非确认的复制细节。因此，我们将重建描述为论文匹配而非精确复制（见结果 1）。

#### 2.1.2 种子与检查点保存

五个独立种子（0-4）在相同的协议下训练，仅控制权重初始化和数据加载器洗牌顺序的随机种子不同。对于每个种子，我们保存了两个检查点：交叉熵阶段结束（Phase-1-end，epoch 200），以及 MSE 阶段中 NC1 首次低于 0.01 的 epoch（T_NC），本文使用该阈值标记神经坍缩的起始。训练和评估指标（NC1, NC2, NC3, 平均特征范数, 训练准确率）每 epoch 记录。对 Python、NumPy、PyTorch（CPU 和 CUDA）以及所有数据加载器工作进程实施了确定性种子。为验证实现的可复现性，种子 0 被独立完整重跑，并确认在多个检查点（epoch 0, 199, 360, 599）上复现了其轨迹至报告的小数精度，包括其 T_NC 值和 fn* 至六位有效数字。

#### 2.1.3 神经坍缩指标

NC1、NC2 和 NC3 按照 Rupa (2026 (https://arxiv.org/html/2607.11967#bib.bib12)) 和神经坍缩文献（Papyan 等，2020 (https://arxiv.org/html/2607.11967#bib.bib11)）采用的定义计算：NC1 测量类内变异性坍缩，NC2 测量单纯形等角紧致性，NC3 测量分类器与类均值之间的自对偶性。我们使用样本加权全局均值惯例来计算类间协方差。另一种类平衡惯例也被实现并进行比较；在本文使用的指标上，两种惯例在实际检查点数据上的差异为 0.5-0.6%，表明全局均值惯例的选择不是本文报道发现的重要贡献因素。平均特征范数（fn）计算为评估集上最后一层激活的 L2 范数的平均值。

### 2.2 激活对齐

#### 2.2.1 仿射校正构造

为了比较供体网络 B 的分类器头部与受体网络 A 的激活，我们通过正交 Procrustes 将 B 的倒数第二层表示对齐到 A 的坐标系统中。