迁移学习: Kan Extensions 用于神经不变量

# 学习迁移：面向神经不变量的 Kan 扩展  
来源：https://arxiv.org/html/2606.07627  

\theorembodyfont\theoremheaderfont\theorempostheader \.\theoremsep  
\crefnametheorem定理定理\Crefnametheorem定理定理\crefnamelemma引理引理\Crefnamelemma引理引理\crefnameproposition命题命题\Crefnameproposition命题命题\crefnamecorollary推论推论\Crefnamecorollary推论推论\crefnamedefinition定义定义\Crefnamedefinition定义定义\crefnameremark注记注记\Crefnameremark注记注记\crefnameexample示例示例\Crefnameexample示例示例\crefnameconstruction构造构造\Crefnameconstruction构造构造\crefnamealgocf算法算法\Crefnamealgocf算法算法\crefname§§§\Crefname§§§\crefname§§§\Crefname§§§  
\firstpageno1  

\NameLuciano Melodiahttps://orcid.org/0000-0002-7584-7287\Email [email protected]  
\addr弗里德里希-亚历山大·埃尔朗根-纽伦堡大学  

###### 摘要  

迁移学习假定：在源任务上学到的表示携带了在相关目标任务上仍然可用的结构。标准评估通过目标精度或分布差异来检验这一假设，但未能指明哪种结构不变量被意图迁移。本文从范畴角度提供了这一不变量。设源任务范畴 \(\mathcal{A}\)，目标任务范畴 \(\mathcal{B}\)，以及任务变化函子 \(J:\mathcal{A}\to\mathcal{B}\)。对于每个取不变量值的源表示 \(F:\mathcal{A}\to\mathcal{V}\)，存在通用迁移不变量 \(\operatorname{Lan}_J F\)。给定目标不变量 \(G:\mathcal{B}\to\mathcal{V}\)，我们定义迁移差异度  
\[
\operatorname{Comp}_J(F,G)=\sup_{b\in\operatorname{Ob}(\mathcal{B})}d_{\mathcal{V}}\bigl((\operatorname{Lan}_J F)(b),G(b)\bigr),
\]  
该差异度并非通过对象方式比较源与目标，而是将目标不变量与由指定任务变换所强制的不变量进行比较。对于链复形和持久性模，我们证明了 \((\operatorname{Lan}_J F)(b)\) 的有限余核公式，该公式由逗号范畴 \(J\downarrow b\) 索引。对于持久性值的有限型单参数不变量，该差异度可通过条形码之间的瓶颈距离精确计算。随后在神经隐空间点云上进行受控实验，检验该评分是否能恢复正确的任务函子，并标记那些在保留分类精度的同时破坏迁移相关拓扑的表示坍缩。  

## 1 引言  

迁移学习探讨的是，在源任务上学到的表示在任务变化后是否仍然有效。经典域适应理论通过源风险、域差异以及联合标签项来约束目标风险（Ben-David 等，2010）。这量化了分布上的障碍，但未指明何种内部结构应当迁移：精度和对齐并不能说明连通分量、环或结构等同关系是否得以保留。我们的主张是：当迁移意图保持全局不变量结构时，目标表示不应直接与源比较，而应与由指定任务变换所诱导的不变量进行比较。  

几何方法捕捉局部和度量结构。前馈网络和残差网络可被解读为黎曼数据流形的变换（Hauser 和 Ray，2017），生成式解码器在隐空间上诱导随机黎曼度量（Arvanitidis 等，2018）。这些度量控制无穷小畸变和路径几何，但本身并不决定同调；全局连通性和环需要拓扑不变量。  

持续同调使得这类结构在网络中可计算。追踪训练好的分类器中的激活流形，发现贝蒂数减少，且 ReLU 网络比具有平滑可逆激活的网络更快（Naitzat 等，2020）。相关工作测量加权网络复杂度（Rieck 等，2019），分析激活空间的形状（Gebhart 等，2019），并研究由 ReLU 激活模式诱导的胞腔分解（Bosca 等，2026）。持续同调也与数据流形的连通交换李群模型结合，推导出足以保持推断拓扑的嵌入维度，从而给出隐藏层宽度的拓扑知情下界（Melodia 和 Lenz，2021）。因此，拓扑不仅是输出诊断工具，它还能约束表示维度。  

拓扑信息同样被融入学习和算法决策中：对分类器决策边界拓扑进行正则化（Chen 等，2019），优化隐空间连通性（Hofer 等，2019），在自编码器编码中保持多尺度连通性（Moor 等，2020），以及提供可微的持续层（Gabrielsson 等，2020）。连续持久性图之间的瓶颈距离和 Wasserstein 距离已被用作 Voronoi 插值的停止准则（Melodia 等，2020），而延迟嵌入的 \(H_0\) 和 \(H_1\) 持久性丰富了用于电厂传感器信号的残差一维卷积与堆叠 LSTM 分类器（Melodia 等，2022）。这些工作共同表明，持久不变量可以指导架构、优化、停止和特征构建。  

然而，针对迁移的拓扑方法仍以比较为基础。决策边界同调被用于筛选预训练模型（Ramamurthy 等，2019）；持久性信息被用于正则化域适应，但仅靠持久性对齐是不够的（Weeks 和 Eustis，2021）；表示拓扑散度（Representation Topology Divergence）比较了分布偏移和迁移下的神经表示（Barannikov 等，2022）。这些方法要么比较观察到的表示，要么对模型进行排序。没有一种方法编码从源任务到目标任务的指定结构映射，也没有一种方法计算该映射所强制得到的目标不变量。  

优化并不能弥合这一差距。梯度下降移动参数，但不一定保留实现表示的拓扑。拓扑保留仅在额外的架构假设下成立：神经常微分方程 (Neural ODE) 的特征映射是同胚，因此保留输入空间的拓扑，但以表达能力为代价（Chen 等，2018; Dupont 等，2019），而标准 ReLU 网络不遵循此类原则，可以逐层改变激活拓扑（Naitzat 等，2020）。因此，迁移不能假定拓扑守恒；它必须指定并检验意图保留或改变的全局结构。  

持久性模已经拥有范畴化表述。将持久性建模为函子表明交错距离扩展了瓶颈距离（Bubenik 和 Scott，2014）；这扩展到由任意预序索引的模，具有函子稳定性（Bubenik 等，2015）；持久性构造与层和余弦层相联系（Curry，2014）。Kan 扩展最近被用于插值采样持久同调变换（Arya 等，2025）。我们的贡献是独特的。  

源任务是一个小范畴 \(\mathcal{A}\)，目标任务是一个小范畴 \(\mathcal{B}\)，任务变化是一个函子 \(J:\mathcal{A}\to\mathcal{B}\)。对于取不变量值的表示 \(F:\mathcal{A}\to\mathcal{V}\)，左 Kan 扩展 \(\operatorname{Lan}_J F\) 是由 \(J\) 诱导的通用目标侧不变量。我们将观察到的目标不变量 \(G:\mathcal{B}\to\mathcal{V}\) 与 \(\operatorname{Lan}_J F\) 比较，而不是与 \(F\) 比较，从而产生一个由指定任务变换索引的迁移差异度，并且该差异度对它所施加的余极限等同关系敏感。这正是我们弥合的差距。  

在先前的拓扑方法中，要么比较两个给定的表示，要么对单个模型评分，但没有一种方法将源不变量沿着指定的任务映射进行运输，并要求目标实现该结果。我们正是这样做的。左 Kan 扩展的值  
\[
(\operatorname{Lan}_J F)(b)=\operatorname{colim}_{J\downarrow b} F,
\]  
记录了连同源态射在 \(b\) 上可见时所强制做出的所有等同关系，并与 \(G(b)\) 进行比较。其普遍性质是决定性的：\(\operatorname{Lan}_J F\) 是 \(F\) 沿 \(J\) 的*初始*扩展，因此 \(G\) 的每一次偏差都是迁移的结构性缺陷，而非度量的伪影。因此，该检验询问 \(G\) 是否实现了由指定 \(J\) *所要求*的不变量，从而在它们施加不同余极限不变量时，恰好区分正确的任务函子与错误的合并、坍缩、精化或遗忘。  

### 贡献  

1. 通过左 Kan 扩展 \(\operatorname{Lan}_J F\) 实现的不变量值迁移（§2）。  
2. 刻画精确诱导结构的差异度 \(\operatorname{Comp}_J(F,G)\)（§2）。  
3. 针对链和不变量和持久性不变量的逗号范畴余核公式（§3 和 §4）。  
4. 检测错误变换和坍缩的瓶颈评估（§5 和 §6）。  

全局不变量结构的迁移是根据由指定任务变换从源规范诱导出的结构来衡量的，该结构由左 Kan 扩展产生。  

## 2 范畴迁移框架  

所有范畴均为局部小范畴。我们记 \([ \mathcal{A}, \mathcal{V} ]\) 为函子范畴，\(\operatorname{Nat}(-,-)\) 为自然变换，\(\mathbf{1}\) 为终范畴。设 \(\mathbb{K}\) 为一个域，并记 \(\operatorname{Vec}_{\mathbb{K}}\)、\(\operatorname{Ch}_{\mathbb{K}}\) 和 \(\operatorname{Pers}_{\mathbb{K}}\) 分别为 \(\mathbb{K}\)-向量空间范畴、链复形范畴和（在 \((\mathbb{R},\leq)\) 上的）持久性模范畴。令 \(\operatorname{PersMod}_{\mathbb{K}} \subseteq \operatorname{Pers}_{\mathbb{K}}\) 为逐点有限维子范畴。Kan 扩展在共完备的自洽范畴中形成，因此在 \(\operatorname{Pers}_{\mathbb{K}}\) 中形成。仅当结果保持逐点有限维时，才使用 \(\operatorname{PersMod}_{\mathbb{K}}\)。  

### 作为小范畴的任务  

我们将任务建模为一个小范畴 \(\mathcal{A}\)，组件作为对象，允许的结构映射作为态射。任务变化是一个函子 \(J:\mathcal{A}\to\mathcal{B}\)。一般地，\(\mathcal{V}\) 是一个共完备的表示不变量范畴，其对象同构类上具有距离 \(d_{\mathcal{V}}\)。在下面的持久性值特化中，取 \(\mathcal{V} = \operatorname{Pers}_{\mathbb{K}} \coloneqq [(\mathbb{R},\leq), \operatorname{Vec}_{\mathbb{K}}]\)，\(d_{\mathcal{V}} = d_I\) 即交错距离。在有限型单参数设定中，我们限制在 \(\operatorname{Pers}_{\mathbb{K}}^{\mathrm{ft}}\) 上，其中对象具有有限条形码，且 \(d_I\) 与瓶颈距离一致。  

###### 例 2.1  

1. **合并域**：令 \(\mathcal{A}\) 为离散范畴，\(\operatorname{Ob}(\mathcal{A}) = \{a_1, a_2\}\)；令 \(\mathbf{1}\) 为终范畴；令 \(J:\mathcal{A}\to\mathbf{1}\) 为唯一函子。对于 \(F:\mathcal{A}\to\mathcal{V}\)，逐点公式给出  
\[
\operatorname{Lan}_J(F)(\bullet) \cong \int^{a\in\operatorname{Ob}(\mathcal{A})} \mathbf{1}(Ja,\bullet) \cdot F(a) \cong F(a_1) \sqcup F(a_2).
\]  
因此 \(J\) 合并两个域，而 \(\operatorname{Lan}_J\) 将它们的无变量发送到余积。在 \(\operatorname{Vec}_{\mathbb{K}}\)、\(\operatorname{Ch}_{\mathbb{K}}\) 和 \(\operatorname{Pers}_{\mathbb{K}}\) 中，这就是直和。  

2. **类精化**：令 \(\mathcal{A}\) 为离散范畴，对象为粗类 \(c\)。令 \(\mathcal{B}\) 含有粗类 \(c\)、细类 \(d\)，以及箭头 \(\rho_{c,d}: c \to d\) 当且仅当 \(d\) 是 \(c\) 的精化。令 \(J:\mathcal{A}\to\mathcal{B}\) 为粗类上的包含。对于 \(F:\mathcal{A}\to\mathcal{V}\)，逐点公式给出  
\[
\operatorname{Lan}_J(F)(b) \cong \int^{c\in\operatorname{Ob}(\mathcal{A})} \mathcal{B}(Jc,b) \cdot F(c) \cong \coprod_{\substack{c\in\operatorname{Ob}(\mathcal{A})\\ \rho_{c,b}: Jc\to b}} F(c).
\]  
因此细类 \(d\) 接收所有粗类 \(c\)（满足 \(\rho_{c,d}: Jc\to d\)）的不变量。如果 \(d\) 仅精化 \(c\)，则 \(\operatorname{Lan}_J(F)(d) \cong F(c)\)。  

3. **层坍缩**：令 \([n] = \{0,\ldots,n\}\) 为序数范畴，顺序为 \(0 \leq \cdots \leq n\)；令 \(\mathbf{1}\) 为终范畴；令 \(J: [n] \to \mathbf{1}\) 为唯一函子。对于 \(F: [n] \to \mathcal{V}\)，逐点公式给出  
\[
\operatorname{Lan}_J(F)(\bullet) \cong \int^{i\in[n]} \mathbf{1}(Ji,\bullet) \cdot F(i) \cong \operatorname{colim}_{i\in[n]} F(i) \cong F(n),
\]  
因为 \(n\) 在序数范畴 \([n]\) 中是终对象。因此，坍缩一个有向层序列会保留最终的传播不变量，而不是所有层不变量的余积。  

4. **遗忘结构**：令 \(J:\mathcal{A}\to\mathcal{B}\) 将结构化任务发送到更粗的任务。对于 \(F:\mathcal{A}\to\mathcal{V}\) 和 \(b\in\mathcal{B}\)，逐点公式给出  
\[
\operatorname{Lan}_J(F)(b) \cong \int^{a\in\operatorname{Ob}(\mathcal{A})} \mathcal{B}(Ja,b) \cdot F(a) \cong \operatorname{colim}_{(a,\beta:Ja\to b)\in J\downarrow b} F(a).
\]  
因此，在 \(b\) 处的值通过粘合所有配备了比较映射 \(\beta: Ja\to b\) 的不变量 \(F(a)\) 而获得。在逗号范畴 \(J\downarrow b\) 中，态射 \(\alpha: (a,\beta) \to (a',\beta')\) 是 \(\mathcal{A}\) 中的态射 \(\alpha: a\to a'\)，满足 \(\beta'\circ J\alpha = \beta\)，余极限将 \(x\in F(a)\) 与 \(F(\alpha)(x) \in F(a')\) 视为等同。因此，\(\operatorname{Lan}_J\) 不仅仅是收集源对象，它还商掉了对 \(b\) 可见的源态射。  

### 不变量范畴与模型  

不变量目标指定了用于比较迁移模型的空间。在学习的应用中，模型的输出可以是链复形、持久性模或其他结构化不变量，而损失必须在该类型对象上进行评估。因此，我们区分了用于计算 Kan 迁移的自洽范畴 \(\mathcal{V}\)，与用于定义稳定性距离的比较类 \(\mathcal{S}\)。