Fisher宽度：局部学习几何与各向异性恢复

# Fisher 宽度：局部学习几何与各向异性恢复
来源：https://arxiv.org/html/2607.20578

###### 摘要

我们通过一对泛函研究统计流形上的高斯宽度复杂度：由 Fisher 度量诱导的原始 Fisher 宽度 w_G(T)=w(G^{1/2}T) 和由逆 Fisher 度量诱导的逆 Fisher 宽度 w_{G^{-1}}(T)=w(G^{-1/2}T)。这两个宽度扮演着互补的统计角色。在学习方面，Fisher 宽度度量了 Fisher 信息诱导几何中局部参数波动的大小。对于 Fisher 正则损失，我们证明尺度 w_G(H_r)/√n 在足够小的 Fisher 球上可达。在恢复方面，逆 Fisher 宽度捕捉了各向异性高斯测量的效应，其协方差由逆 Fisher 信息决定。对于稀疏恢复，得到的几何不仅取决于稀疏性，还取决于 Fisher 谱中主动坐标的位置。我们获得了对应统计维度的双侧估计，以及支撑敏感的恢复估计和具有不同曲率轮廓的支撑的自然序。最后，我们建立了原始 Fisher 宽度与逆 Fisher 宽度之间的锐利关系。在任何公共紧坐标集 T 上，它们满足 w_G(T) w_{G^{-1}}(T) ≥ w(T)^2。因此，Fisher 各向异性可以将复杂度从一种几何转移到另一种几何，但不能同时相对于欧几里得尺度减少两个宽度。

## 1 引言

### 1.1 从 Fisher 宽度到原始-逆对

Fisher 信息矩阵 G(θ) 定义了统计模型的局部几何。Fisher 曲率大的方向是模型分布变化迅速的方向，而 Fisher 曲率小的方向是统计上平坦的方向。因此，Fisher 度量衡量了对参数扰动的局部敏感性，而其逆则决定了有效估计几何中出现的协方差尺度，如 Cramér-Rao 界所反映的那样。因此，G(θ) 和 G(θ)^{-1} 诱导了局部参数集的两种互补变形。

Fisher 宽度由 Ky (2026) 引入，定义为 w_G(T) = w(G(θ)^{1/2}T)，它扩展了经典高斯宽度到具有 Fisher 度量的统计模型。它是 Fisher 变形集 G(θ)^{1/2}T 的高斯宽度，并度量参数集在局部 Fisher 几何中的大小。本文研究该宽度及其逆度量对应物 w_{G^{-1}}(T) = w(G(θ)^{-1/2}T)。我们将 (w_G, w_{G^{-1}}) 称为一个*原始-逆对*，对应于同一局部参数集的 Fisher 和逆 Fisher 变形。

这两个宽度出现在不同的统计场景中。Fisher 宽度与得分波动和局部学习界相关，而逆 Fisher 宽度出现在具有高斯测量协方差 G^{-1} 的恢复问题中。当在固定图表中的公共局部坐标集上评估时，这两种变形对 Fisher 各向异性的响应是相反的。本文的主要问题是这些宽度如何进入学习和恢复界，以及当它们应用于同一坐标集时受何种关系约束。

在整篇论文中，Fisher 信息矩阵 G(θ) 在固定参考点 θ_0 处评估，所有宽度泛函在选定的局部参数图表中计算。相应的切线和余切线变换法则记录在第 2.3 节中。

### 1.2 相关工作

**高斯宽度与高维几何。** 高斯宽度是渐近凸几何、高维概率和经验过程理论中的核心复杂度度量 (Talagrand, 2005; Ledoux and Talagrand, 1991; Vershynin, 2018; Wainwright, 2019)。它通过集合与高斯过程的相互作用来衡量其大小，并出现在浓度、随机投影、嵌入和一致偏差估计中 (Boucheron et al., 2013; Plan and Vershynin, 2014)。由 Ky (2026) 引入的 Fisher 宽度可视为高斯宽度的 Fisher 几何类比，通过局部 Fisher 度量变形参数集得到。

**锥形相变与凸恢复。** 恢复阈值的几何理论始于 Gordon 的“穿越网格”定理 (Gordon, 1988)。压缩感知和凸恢复随后将精确恢复与下降锥、高斯宽度和统计维度联系起来 (Candès et al., 2006; Donoho, 2006; Donoho and Tanner, 2009; Foucart and Rauhut, 2013; Chandrasekaran et al., 2012; Amelunxen et al., 2014)。对于高斯测量，Gordon 定理给出了基于高斯宽度的充分条件，而统计维度决定了锐利的锥形相变 (Amelunxen et al., 2014)。我们通过恒等式 G^{-1/2}D(∥·∥_1, x^⋆) = D(∥G^{1/2}·∥_1, G^{-1/2}x^⋆) 使用该框架，该恒等式将逆 Fisher 恢复简化为具有加权 ℓ_1 下降锥的标准高斯恢复问题。对应的上泛函是标准的加权 ℓ_1 到次梯度距离表达式。我们的贡献在于其 Fisher 解释以及通过优化标准 ALMT 误差项（在具有相同支撑和符号模式的向量上）得到的双侧估计，以及由此产生的支撑序结论。

**各向异性随机测量与加权 ℓ_1 恢复。** 经典高斯恢复理论假设各向同性测量集成。Kueng 和 Gross (2014) 建立了各向异性集成的 RIPless 压缩感知界，采样率取决于协方差矩阵的条件数，而 Rudelson 和 Zhou (2013) 分析了具有非平凡协方差的次高斯矩阵的稀疏恢复和限制特征值条件。加权 ℓ_1 最小化也已针对非均匀稀疏性、部分支撑信息和已知支撑分布进行了研究 (Khajehnejad et al., 2011; Díaz et al., 2018)。在那类文献中，权重通常根据支撑的先验信息选择，并可优化以提高恢复阈值。正则化和下降锥几何更普遍地为结构化恢复提供了一个标准框架 (Tibshirani, 1996; Chandrasekaran et al., 2012; Negahban et al., 2012; Amelunxen et al., 2014)。我们的感知模型属于各向异性族，但其协方差由底层统计模型生成。在高斯位置实验中，成对差异产生具有协方差 G^{-1} 的高斯感知行，产生形式为 AG^{-1/2} 的测量算子。白化后，原始未加权 ℓ_1 正则化器变为 f_G(x) = ∥G^{1/2}x∥_1。对于对角 G，由此产生的权重因此由测量协方差决定，而非从支撑先验信息中选择。因此，U_G(S) 在函数形式上并不新；它是针对 Fisher 诱导权重的标准加权 ℓ_1 表达式特例。新点在于这些权重的统计起源、在固定支撑和符号模式上优化标准 ALMT 误差界，以及由此产生的支撑敏感恢复估计。

**信息几何与 Fisher 度量。** Fisher 信息矩阵定义了统计流形上的标准黎曼度量 (Rao, 1945; Amari and Nagaoka, 2000; Čencov, 1982)。其逆通过 Cramér-Rao 界出现在经典估计理论中，也是自然梯度方法的基础 (Amari, 1998; Pascanu and Bengio, 2014)。现有工作主要集中在估计、散度几何、统计效率和自然梯度优化上。相比之下，我们研究在 G 和 G^{-1} 诱导的两种线性变形下的高斯宽度复杂度。

**机器学习中的 Fisher 信息。** Fisher 信息也作为机器学习中的曲率矩阵使用，尤其在自然梯度方法和近似方法如 K-FAC 中 (Martens and Grosse, 2015)。经验 Fisher 近似可能与总体 Fisher 或 Hessian 矩阵不同 (Kunstner et al., 2019)；我们的分析使用 Fisher 矩阵来定义几何复杂度，而非作为优化预处理器。

### 1.3 主要贡献

我们的主要贡献如下：

1. **在 Fisher 球上的局部可达性。** 对于 Fisher 正则损失，我们证明了一个有限样本下界，其尺度为 w_G(H_r)/√n，在足够小的 Fisher 球上达到与标准 Fisher-Lipschitz 上界相同的尺度。该结果适用于在局部杠杆和四阶矩假设下的标准正确指定模型。

2. **支撑敏感的各向异性恢复。** 对于对角 G 和未加权基追踪，变换后的锥是加权范数 x ↦ ∥G^{1/2}x∥_1 的下降锥。对应的标准加权 ℓ_1 上泛函为 U_G(S)。通过在具有相同支撑和符号模式的向量上优化 ALMT 误差界，我们得到
   U_G(S) - 2√(Tr(G)/∑_{i∈S}γ_i) ≤ δ(G^{-1/2}D(∥·∥_1, x^⋆)) ≤ U_G(S).
   相同的表示给出了嵌套支撑下的单调性，并表明用 Fisher 曲率更大的坐标替换主动坐标会增加上恢复估计。

3. **锐利的原始-逆宽度不等式。** 对于每个非空紧集 T ⊂ R^d 和每个 G ≻ 0，我们证明
   w_G(T) w_{G^{-1}}(T) ≥ w(T)^2.
   常数是锐利的，证明基于沿度量交换幂的对数凸性。我们还导出了正定矩阵更一般对的相关界。

4. **逆协方差恢复的 Fisher 解释。** 高斯位置观测的差值生成具有协方差 G^{-1} 的感知行。白化后，凸恢复由变换后的锥 G^{-1/2}D(R, x^⋆) 控制。Gordon 定理通过高斯宽度给出了一个充分的恢复尺度，而统计维度定位了相应的锐利高斯锥形相变。

## 2 Fisher 宽度与逆 Fisher 宽度

### 2.1 定义与基本性质

设 {p_θ : θ ∈ Θ ⊂ R^d} 是一个关于基测度 μ 的参数化概率密度族。θ 处的 Fisher 信息矩阵为
G(θ)_{ij} = E_{p_θ}[∂_i log p_θ(X) ∂_j log p_θ(X)].  (1)
在整篇论文中，我们在固定参考点 θ_0 处评估 Fisher 矩阵。假设 G := G(θ_0) ≻ 0，并在 θ_0 周围选定的局部参数图表中工作。Fisher 度量及其逆诱导出范数对
‖v‖_G = (v^⊤ Gv)^{1/2},   ‖s‖_{G^{-1}} = (s^⊤ G^{-1}s)^{1/2}.

对于紧集 S ⊂ R^d，其高斯宽度定义为
w(S) := E_g sup_{v∈S} ⟨g, v⟩,   g ∼ N(0, I_d).

###### 定义 2.1 (Fisher 宽度与逆 Fisher 宽度)
设 G ≻ 0 且