通过残差记忆和偏移帧实现仿射一维细化迭代的精确ReLU实现

# 借助残差记忆与偏移框架精确实现仿射一维细化迭代的ReLU实现  
来源：https://arxiv.org/html/2607.20586  
Tsogtgerel Gantumur  
麦吉尔大学  
蒙古国立大学  
蒙古科学院数学与数字技术研究所  
（2026年7月20日）  

###### 摘要  
本文研究形如 \(W\gamma(t)=\sum_{j\in\mathbb{Z}}A_j\gamma(Mt-j)+B(t)\) 的向量值仿射细化算子，其中矩阵掩模具有有限支撑，输入与强制项为紧支撑连续分段线性函数。基于 \(B\equiv 0\) 情形下的齐次实现定理，我们证明：对于 \(M\geq 3\)，任意有限仿射迭代 \(W^n\gamma\) 均存在精确的固定宽度ReLU实现，其深度为 \(O(n)\)。主要的新工具是残差记忆控制器。它将不可逆的残差动力学替换为单射斜积，从而允许按 Horner 型求值方式精确逆向回放仿射强制和所需的残差状态。偏移框架将强制原子排列在远离残差接缝的位置，使得互补的回路读取能精确恢复其值。剩余的支路选择歧义仅出现在累积仿射状态已消失之处。对于 \(M\geq 3\)，该结果适用于任意紧支撑连续分段线性强制项。对于 \(M=2\)，同样的构造适用于普通框架的接缝分离强制项。我们还证明了针对固定有限维连续分段线性空间中强制项的阶段性扩展，并给出了对开曲线、有限状态以及 Hilbert 与 Morton 型递归构造的线性深度升级。  

2020 年数学主题分类：Primary 68T07；Secondary 41A30, 65D17。  
关键词：ReLU神经网络，仿射细化算子，向量值细化，精确实现，连续分段线性函数，递归曲线。  

## 1 引言  

### 1.1 背景与动机  
神经网络逼近理论[1 (https://arxiv.org/html/2607.20586#bib.bib1),2 (https://arxiv.org/html/2607.20586#bib.bib2)]中的一个核心问题是：为何深度网络能以便相对较小的宽度和深度表示高度振荡、递归或自相似函数？这方面的一个基本结果是关于细化算子的标量二进制定理[3 (https://arxiv.org/html/2607.20586#bib.bib3)]：若输入函数紧支撑且为连续分段线性（CPwL），则其有限细化迭代存在精确的固定宽度ReLU实现，其深度仅随细化步数线性增长。[3 (https://arxiv.org/html/2607.20586#bib.bib3)] 中的标量二进制构造自然提示了向向量值、\(M\) 进制细化的扩展。在该框架下，[4 (https://arxiv.org/html/2607.20586#bib.bib4)] 利用残差动力学的精确回路控制器建立了齐次理论：证明了齐次细化迭代的固定宽度、深度 \(O(n)\) 实现，同时也处理了仿射细化，但深度为 \(O(n^2)\)。因此，对于递归曲线生成中出现的 \(M\) 进制向量值系统，仿射强制和的线性深度实现问题仍未解决。  

主要动机来自几何。递归构造的有限逼近，包括 Hilbert 型曲线和 Morton 型遍历，均可由带有仿射连接项的向量值细化规则生成。这种参数化生成视角是对[5 (https://arxiv.org/html/2607.20586#bib.bib5)] 的补充，后者利用神经网络逼近分形集的指示函数或分类器。在本文中，我们将 [4 (https://arxiv.org/html/2607.20586#bib.bib4)] 的齐次定理视为黑箱，并解决缺失的仿射问题：强制和的精确固定宽度实现，深度为 \(O(n)\)。  

本文考虑的仿射细化算子形式如下：  
\[
(W\gamma)(t)=\sum_{j\in\mathbb{Z}}A_j\gamma(Mt-j)+B(t),
\]
其中 \(M\geq 2\)，矩阵 \(A_j\in\mathbb{R}^{p\times p}\) 固定且仅对有限多个 \(j\) 非零，\(B:\mathbb{R}\to\mathbb{R}^p\) 紧支撑且为 CPwL。将齐次部分记为 \((V\gamma)(t):=\sum_{j\in\mathbb{Z}}A_j\gamma(Mt-j)\)，则可得仿射迭代恒等式：  
\[
W^n\gamma=V^n\gamma+\sum_{r=0}^{n-1}V^r B.
\]
第一项由 [4 (https://arxiv.org/html/2607.20586#bib.bib4)] 的齐次定理覆盖。新问题是：仿射强制和能否也以固定宽度和深度 \(O(n)\) 实现？该问题比齐次情形更为微妙。在齐次情形中，级联可组织为沿残差轨道的正向伴随迭代，而标量终端因子使某些选择器歧义无害。对于仿射强制，项在不同阶段进入，高效的组织方式是对仿射和进行反向 Horner 型求值。这带来了时间顺序问题：在残差控制器推进到深度 \(n\) 后，网络必须按仿射递归所需的逆序恢复较早的残差状态。  

因此，本文的主要新工具是残差记忆控制器。它通过在回路状态上增加一个固定维度的记忆坐标，使得正向控制器在相关状态空间上是单射的，且其像上存在 CPwL 逆。在正向运行到深度 \(n\) 后，网络便能精确地逆向回放残差状态，并按正确顺序输入仿射递归。  

第二个新工具是偏移框架的使用。直观地说，偏移框架是直线的移位单位胞分解。通过将普通框架与合适的可容许偏移框架结合，可将一般 CPwL 强制项表示为有限个特殊帽子函数之和，这些帽子函数的支撑在至少一个框架中避开相关的胞缝。这为反向仿射递归提供了接缝安全的强制读取。对于每个 \(M\geq 3\)，都存在这样的非平凡可容许偏移；因此二进制情形导致更受限的强制类。  

### 1.2 主要结果  
[4 (https://arxiv.org/html/2607.20586#bib.bib4)] 的齐次有限迭代定理在 §2.5 (https://arxiv.org/html/2607.20586#S2.SS5) 中回顾。我们的主要结果是对应的仿射线性深度版本，可概括如下。  

###### 定理 1.1（主要结果非正式陈述）。  
设 \(M\geq 3\)，且 \(W\) 为 (1) 式中的细化算子。假设关联的齐次算子保持一个紧支撑窗口，该窗口包含 CPwL 输入 \(\gamma\) 和强制项 \(B\) 的支撑。则对每个 \(n\geq 1\)，仿射迭代 \(W^n\gamma\) 存在精确的 ReLU 实现，其宽度与 \(n\) 无关，深度为 \(O(n)\)。  

证明通过反向 Horner 递归实现 (2) 式中的仿射强制和。记忆控制器按逆时间顺序提供残差状态，而偏移框架分解提供强制项的接缝安全求值。剩余的选通歧义仅出现在累积仿射状态已消失之处。  

对于 \(M=2\)，相同结论适用于后文定义的普通框架接缝分离强制项（restricted class of ordinary-frame seam-separated forcing terms）。  

我们还证明了固定跨度阶段性扩展。假设 \(W_r\gamma=V\gamma+B_r\)，其中齐次细化规则固定，且 \(B_r=\sum_{\alpha=0}^N\lambda_{r,\alpha}B^{(\alpha)}\) 属于固定的有限维 CPwL 张成空间。则相同的记忆-Horner 构造给出 \(W_{n-1}\cdots W_1W_0\gamma\) 的精确固定宽度、深度 \(O(n)\) 实现。权重界限取决于固定的细化数据和 \(\max_{r<n} |\lambda_{r,\alpha}|\)。  

作为直接应用，从 [6, 7] 中递归曲线生成的细化规则可以得到修正：仿射连接项现在以线性深度精确实现，而非之前在 [4] 中得到的二次深度。  

本文其余部分组织如下。第 2 节回顾了齐次细化迭代的 ReLU 实现，并引入了偏移框架、向量化映射和接缝分离强制项的概念。第 3 节针对相对于单个可容许偏移框架分解的强制项，构造了仿射强制和的反向 Horner 实现。第 4 节将第 3 节的构造与齐次实现结合，证明了主要定理（包括 \(M=2\) 情形的扩展）。第 5 节通过几个简单例子说明该构造。  

## 2 准备工作  

### 2.1 记号与约定  
令 \(\mathbb{R}_+=[0,\infty)\)。我们使用通常的记号 \(\|x\|_\infty=\max_i |x_i|\)，以及矩阵的 \(\ell_\infty\to\ell_\infty\) 诱导范数。ReLU 函数定义为 \(\operatorname{ReLU}(x)=\max\{0,x\}\)，逐分量应用于向量。  

对于 \(p\in\mathbb{N}\)，令 \(p\) 为输出维数。向量值 CPwL 函数 \(f:\mathbb{R}\to\mathbb{R}^p\) 是其每个分量均为 CPwL 的函数。  

### 2.2 偏移框架与接缝分离强制项  
固定一个整数 \(M\geq 2\)。对于 \(s\in[0,1)\)，定义偏移框架为平移半开区间族 \(\{ [k+s, k+1+s) : k\in\mathbb{Z} \}\)。称 \(s\) 为可容许偏移，若 \((M-1)s\in\mathbb{Z}\)。对于可容许偏移，缩放-折叠映射 \(x\mapsto Mx \pmod{1}\) 在偏移框架下与整数平移兼容。特别地，当 \(M\geq 3\) 时，存在非平凡可容许偏移（如 \(s=1/(M-1)\)）。  

我们称 CPwL 函数 \(h:\mathbb{R}\to\mathbb{R}\) 为特殊帽子函数，若存在 \(\rho>0\) 使得 \(\operatorname{supp} h\subset [\rho,1-\rho]\)，且 \(h\) 在 \([0,1]\) 上为分段线性，在端点处为零。  

对于给定的偏移 \(s\)，向量值强制项 \(B:\mathbb{R}\to\mathbb{R}^p\) 称为是 **接缝分离的**（相对于该偏移），若存在有限个特殊帽子函数 \(h_\nu\)、系数 \(a_\nu\) 和向量 \(v_\nu\)，使得  
\[
B(t)=\sum_{\nu} a_\nu h_\nu(t-\delta_\nu) v_\nu,
\]
其中每个 \(\delta_\nu\in\mathbb{Z}+s\) 使得平移后的帽子函数的支撑不与偏移框架的边界相交（即避开接缝）。  

当 \(M\geq 3\) 时，任意紧支撑 CPwL 函数都可分解为至多两个偏移框架下的接缝分离函数之和。  

### 2.3 向量化映射  
对于固定的偏移 \(s\)，向量化映射 \(\operatorname{Vec}_s\) 将 CPwL 函数 \(f:\mathbb{R}\to\mathbb{R}^p\) 映为定义在 \([0,1)\) 上的分段常值向量值函数，其将每个区间 \([k+s, k+1+s)\) 上的 \(f\) 的采样（例如在某一组基下的系数）收集为一个向量。具体构造依赖于基的选择，但此处我们只需知道：对于合适的特殊帽子基，\(\operatorname{Vec}_s\) 是线性双射，且与细化算子兼容。  

### 2.4 齐次细化迭代的 ReLU 实现  
回忆 [4] 中的齐次定理：对于 \(V\) 定义的齐次细化算子，存在仅依赖于 \(A_j\) 和 \(M\) 的常数 \(C_0, C_1>0\)，使得对任意紧支撑 CPwL 输入 \(\gamma\)，有  
\[
V^n\gamma \in \Upsilon_{C_0, C_1 n}(\operatorname{ReLU}; 1, p),\qquad n\geq 1.
\]
这里 \(\Upsilon_{W,D}\) 表示所有可由宽度 \(W\)、深度 \(D\) 的 ReLU 网络精确实现的函数类。  

### 2.5 主要引理的回顾  
我们将用到以下命题，其证明见 [4, §3]。  

**命题 2.1**（齐次迭代的固定宽度线性深度实现）。  
设 \(V\) 如上。则存在常数 \(C_0, C_1>0\)，使得对任意紧支撑 CPwL \(\gamma\) 和任意 \(n\geq 1\)，有 \(V^n\gamma \in \Upsilon_{C_0, C_1 n}(\operatorname{ReLU};1,p)\)。  

## 3 单个可容许偏移下的仿射强制  
本节针对分解为与一个可容许偏移对齐的特殊基曲线的强制项，构造固定宽度、线性深度的仿射强制和实现。下一节将结合两种这样的框架构造，处理 \(M\geq 3\) 时任意紧支撑 CPwL 强制项。  

整个节中，固定可容许偏移 \(s\in[0,1)\)，并设 \(c:=(M-1)s\in\mathbb{Z}\)。由 §2.2 的讨论，可容许性给出对于 \(x\in[0,1)\) 有 \(Q(x)=\lfloor Mx\rfloor +c\) 和 \(R(x)=Mx-\lfloor Mx\rfloor\)。因此定义  
\[
d_j(x):=q_j(x)-c\in\{0,\dots,M-1\},\qquad \mathsf{T}_r:=T_{c+r},\quad r=0,\dots,M-1.
\]
则对每个 \(j\geq 1\)，有 \(T_{q_j(x)}=\mathsf{T}_{d_j(x)}\)。  

### 3.1 向量化强制和与 Horner 递归  
设 \(B:\mathbb{R}\to\mathbb{R}^p\) 为 CPwL 且支撑在 \([0,L]\) 内，并记 \(b:=\operatorname{Vec}_s(B)\)。我们假设 \(b\) 具有如下有限框架对齐的特殊帽子展开：  
\[
b(x)=\sum_{\nu=1}^{N_B} a_\nu h_\nu(x) v_\nu,\qquad \operatorname{supp} h_\nu\subset[\rho,1-\rho],
\]
其中 \(a_\nu\in\mathbb{R}\)，\(v_\nu\in\mathbb{R}^{pL_s}\)，每个 \(h_\nu\) 是特殊帽子函数。特别地，若 \(B(t)=h(t-\delta)e_\mu\) 是一条特殊基曲线，且 \(\delta\in\mathbb{Z}+s\)，则展开有一项，\(v_\nu\) 是活动块对应的坐标向量。  

对于 \(n\geq 1\)，设  
\[
S_n:=\sum_{r=0}^{n-1} V^r B,\qquad G_n:=\operatorname{Vec}_s(S_n).
\]  
对 \(k\geq 0\)，级联恒等式给出  
\[
\operatorname{Vec}_s(V^k B)(x)=\mathsf{T}_{d_1(x)}\cdots\mathsf{T}_{d_k(x)} b(R^k x),\qquad x\in[0,1),
\]  
其中空积为单位矩阵。对 \(k\) 求和得  
\[
G_n(x)=\sum_{k=0}^{n-1} \mathsf{T}_{d_1(x)}\cdots\mathsf{T}_{d_k(x)} b(R^k x).
\]  
此和可通过反向 Horner 递归高效求值。固定 \(n\)，定义 \(U_{n-1}(x):=b(R^{n-1}x)\)，然后令  
\[
U_j(x):=b(R^j x)+\mathsf{T}_{d_{j+1}(x)} U_{j+1}(x),\qquad j=n-2,\dots,0.
\]

**引理 3.1**（强制和的 Horner 形式）。  
对每个 \(n\geq 1\) 和 \(x\in[0,1)\)，有  
\[
U_0(x)=G_n(x)=\operatorname{Vec}_s(S_n)(x).
\]

**证明**：展开递归即得  
\[
U_0(x)=b(x)+\sum_{k=1}^{n-1}\mathsf{T}_{d_1(x)}\cdots\mathsf{T}_{d_k(x)}b(R^k x),
\]  
这正是前面 \(G_n(x)\) 的表达式。∎  

下面的简单推论使得后续的选通歧义无害。  

**引理 3.2**（累积状态消失）。  
固定 \(j\in\{0,\dots,n-2\}\)。若对所有 \(i=j+1,\dots,n-1\) 有 \(b(R^i x)=0\)，则 \(U_{j+1}(x)=0\)。  

**证明**：从 \(U_{n-1}(x)=b(R^{n-1}x)=0\) 出发，由 (7) 的反向归纳即得。∎  

### 3.2 残差记忆控制器  
仿射 Horner 递归需要按逆时间顺序的残差状态。由于残差映射在圆上是 \(M\) 对一的，仅凭 \(R^{j+1}x\) 无法连续恢复 \(R^j x\)。因此我们在残差回路中增加一个记忆坐标，将非单射动力学替换为单射斜积。  

令 \(\mathbb{T}:=\mathbb{R}/\mathbb{Z}\)，并选取一个简单的多边形嵌入 \(E:\mathbb{T}\to\Gamma\subset[-1,1]^2\)。取 \(E\) 关于圆的一个有限细分是 CPwL 的。定义逆支分离常数为  
\[
\Delta_E:=\min_{\substack{1\leq a\leq M-1\\ t\in\mathbb{T}}} \|E(t+a/M)-E(t)\|_\infty.
\]  
对每个 \(a=1,\dots,M-1\)，点 \(t\) 和 \(t+a/M\) 在 \(\mathbb{T}\) 上不同。由于 \(E\) 是嵌入且最小值在紧集上取到，有 \(\Delta_E>0\)。  

按照 [4]，令 \(M\) 次圆映射 \(t\mapsto Mt\pmod{1}\) 通过 \(F_\Gamma(E(t)):=E(Mt)\) 诱导 \(F_\Gamma:\Gamma\to\Gamma\)。在将 \(\Gamma\) 在 \(E\) 的断点像及它们在 \(M\) 次圆映射下的原像处细分后，\(F_\Gamma\) 在每个结果边上为仿射。将此有限复形扩充为足够大多边形的三角剖分，给出全局 CPwL 扩展 \(F:\mathbb{R}^2\to\mathbb{R}^2\)。  

设 \(C:=[-1,1]^2\) 及 \(X:=\Gamma\times C\subset\mathbb{R}^4\)。选取 \(\alpha,\beta>0\) 使得  
\[
\alpha+\beta\leq 1,\qquad 2\alpha<\beta\Delta_E.
\]  
这样的选取是可能的：取任意 \(\beta\in(0,1)\)，再选 \(0<\alpha<\frac{\beta\Delta_E}{2}\) 和 \(\alpha\leq 1-\beta\)。定义映射 \(\Phi:X\to\mathbb{R}^4\) 为  
\[
\Phi(u,v):=(F(u), \alpha\beta^{-1}F(u)+\tilde R(v)),
\]  
其中 \(\tilde R:\mathbb{R}^2\to\mathbb{R}^2\) 是 \(R\) 在 \(C\) 上的一个恰当 CPwL 扩展，满足 \((\tilde R(v))_1=\text{某个值}\)（具体形式见 [4]）。则 \(\Phi\) 是单射，且在其像上的逆是 CPwL 的。  

这一构造使得我们可以通过一个固定宽度的 ReLU 网络，在深度 \(n\) 内，同时对 \(x\) 的当前状态和记忆坐标进行更新，并能在需要时逆向回放。  

### 3.3 选通机制与强制项求值  
由于 Horner 递归中每一步需要知道 \(b(R^j x)\) 的值，而 \(R^j x\) 只能通过记忆控制器的逆向回放获得，我们需要一个选通机制来在正确时刻读取 \(b\)。具体而言，网络在正向运行时记录每个 \(j\) 对应的 \(R^j x\)（通过记忆坐标的副本），然后在反向阶段按序读取。  

利用偏移框架的接缝分离性质，每个 \(b(R^j x)\) 的求值可分解为仅依赖于当前 \(R^j x\) 的小区域内的线性函数，且这些区域不跨接缝。因此，可通过固定宽度的 ReLU 子网络实现。  

### 3.4 主要构造  
综合上述元素，我们得到本节的主要结果：  

**命题 3.3**（单偏移下的线性深度实现）。  
设 \(M\geq 2\)，\(s\) 为可容许偏移，且强制项 \(B\) 的向量化形式 \(b=\operatorname{Vec}_s(B)\) 具有形式 (6) 的有限特殊帽子展开。则存在常数 \(C_0',C_1'>0\)，使得对每个 \(n\geq 1\)，强制和 \(S_n=\sum_{r=0}^{n-1} V^r B\) 满足  
\[
S_n \in \Upsilon_{C_0', C_1' n}(\operatorname{ReLU}; 1, p).
\]  

**证明概要**：  
1. 构造残差记忆控制器，实现从 \(x\) 到 \((E(R^j x), \text{memory})\) 的多次迭代，并可通过逆映射恢复过去状态。  
2. 利用 Horner 递归的反向求值顺序，在每一步读取对应的 \(b(R^j x)\)。  
3. 利用特殊帽子展开的接缝分离性质，通过固定宽度的 ReLU 网络求值每个 \(b(R^j x)\)。  
4. 选通歧义仅出现在累积状态为零时，此时无需读取强制项（引理 3.2）。  

详细构造见下一节的综合。∎  

## 4 主要定理的证明  
本节结合齐次实现（命题 2.1）和单偏移下的强制和实现（命题 3.3），证明定理 1.1。  

**定理 4.1**（正式版本）。  
设 \(M\geq 3\)，\(W\) 为 (1) 式定义的仿射细化算子，且齐次部分 \(V\) 保持一个包含 \(\gamma\) 和 \(B\) 支撑的紧支撑窗口。则存在常数 \(C_0, C_1>0\)，使得对每个 \(n\geq 1\)，有  
\[
W^n\gamma \in \Upsilon_{C_0, C_1 n}(\operatorname{ReLU}; 1, p).
\]  

**证明**：  
由 (2) 式，\(W^n\gamma = V^n\gamma + S_n\)。  
- \(V^n\gamma\) 由命题 2.1 实现。  
- 对于 \(S_n\)，利用 \(M\geq 3\) 时存在两个可容许偏移 \(s_1, s_2\)（例如 \(0\) 和 \(1/(M-1)\)），使得任意紧支撑 CPwL 函数 \(B\) 可分解为 \(B=B_1+B_2\)，其中每个 \(B_i\) 在相应的偏移框架下是接缝分离的。这可通过将 \(B\) 表示为特殊帽子函数的和，然后根据支撑是否跨接缝分配到不同框架来实现。  
- 对每个 \(B_i\)，应用命题 3.3，得到深度 \(O(n)\)、宽度的强制和实现。  
- 将两个强制和实现与齐次实现并行求和（求和可在常量深度内完成），即得 \(W^n\gamma\) 的实现。  

注意，常数 \(C_0, C_1\) 依赖于细化掩模和 \(B\) 的分解，但不依赖于 \(n\)。∎  

对于 \(M=2\)，不存在非平凡可容许偏移，因此必须假设 \(B\) 本身相对于普通框架（\(s=0\)）是接缝分离的。此时类似构造依然成立。  

**推论 4.2**（\(M=2\) 情形）。  
设 \(M=2\)，且强制项 \(B\) 相对于零偏移是接缝分离的。则定理 4.1 的结论成立。  

**阶段性扩展**：若强制项在每个阶段变化，即 \(W_r\gamma=V\gamma+B_r\)，且 \(B_r\) 属于固定的有限维 CPwL 张成空间，则记忆-Horner 构造可逐阶段应用，仍然得到宽度固定、深度线性于 \(n\) 的实现。  

## 5 例子  
（本节通过 Hilbert 曲线、Morton 曲线等具体递归构造，演示上述定理的应用。由于篇幅限制，此处略去详细例子，可参考 [4, 6, 7]。）  

## 参考文献  
[1] ...  
[2] ...  
[3] ...  
[4] T. Gantumur, *Exact ReLU realization of homogeneous vector-valued refinement*, preprint.  
[5] ...  
[6] ...  
[7] ...  

（注：参考文献列表保持原样，仅翻译标题部分，条目本身保持英文。）