尖锐协方差包络何时紧致？体积采样最小二乘的仅特征几何

# 当锐协方差包络何时紧致？基于特征几何的体采样最小二乘法  
来源：https://arxiv.org/html/2608.26877  

###### 摘要  
Dereziński 和 Warmuth 的先前分析建立了普通体采样下的全尺寸采样恒等式、选定 OLS 无偏性及其逆矩性质，而其精确的任意固定响应损失与预测协方差公式则适用于秩-尺寸端点 s=d。本文针对任意全秩固定池、响应及合法预算 d≤s≤m，在普通索引固定尺寸体采样后执行选定无权最小二乘的情况下，建立了中心化系数协方差的洛伊纳（Loewner）包络；其系数在全秩类中全局锐性。全局锐性并不能确定在当前池上的可达成性。在正损失、严格内部预算且无“coloops”的条件下，一个纯特征裕度 ν_A 精确决定了固定设计谱相位：ν_A>0 当且仅当归一化谱包络对每个兼容残差严格；ν_A=0 当且仅当存在某个兼容残差使谱包络紧致；该零裕度残差在每个严格内部预算下均紧致。残差增强的测度变换提供了响应感知机制和单侧定量松弛界，而支持饱和性证明了可达性方向。临界等杠杆几何解释了该边界，而可靠的下限证书给出了保守的同原语基数决策。冻结特征示例表明该证书非平凡，并度量了其允许的约简在固定池上的成本。本文讨论条件中心化、全格拉姆白化系数协方差，而非总体泛化性。  

## 1 引言  
##### 冻结特征读出与定向再拟合  
冻结特征线性读出是标准的下游接口：表示学习论文通过在其上拟合线性分类器来评估固定编码器[8,19]，而小样本工作流则从有限标签支持集中拟合该读出[26]。支持集的组成会影响生成的分类器，这反映在样本选择偏差文献中[28]。即使在表示、池和响应固定之后，随机子集再拟合也会导致拟合系数的变异。我们在此接口中隔离最小二乘读出原语；我们不分析分类损失或表示质量。一个标量的同池损失总结了聚合的再拟合变异，但无法揭示该变异是沿单一系数方向集中还是扩散分布。因此我们研究再拟合线性头的最大变异方向。  

##### 固定池、预响应问题  
我们研究一个确定的有限回归池。对于每个固定响应，所选子集是唯一的随机性来源；然后我们在兼容残差球上最大化条件协方差。所得的最坏残差裕度仅取决于特征矩阵，而非观测响应。所控制的原语是普通索引固定尺寸体采样后接选定无权最小二乘。其中心化、全格拉姆白化系数协方差保留了被迹隐藏的方向信息。  

##### 从秩-尺寸边界到锐利的全预算包络  
普通体采样已具备行列式律、全尺寸选定 OLS 无偏性以及逆格拉姆矩恒等式。然而对于任意固定响应，Dereziński 和 Warmuth 的精确损失与预测协方差公式仅适用于秩-尺寸端点 s=d；其 NeurIPS 论文明确将 s>d 的期望损失界留待解决，JMLR 文章也报告其协方差公式未扩展至 s=d 之外[11,12]。后续的普通体积下界构造在特定非均匀杠杆族上展现了相同的预算依赖性[13]。定理1针对这一已记录的更大预算边界，为每个固定池、响应和合法预算建立了锐利的洛伊纳包络。  

##### 全局包络留下的固定设计相位  
全局锐性是类级陈述：系数可能在所有设计和响应中不可改进，但在当前特定特征池上却不可达成。我们的定理2揭示了针对一个已实现残差的收缩，但两者均未解决固定设计量词问题：该上界是否对每个兼容残差都严格，还是由某个兼容残差所达成？定理3仅从特征几何回答了此问题。在以下条件下，两个满足同一全局锐利基准的合格特征池可能处于不同的设计特定协方差包络可达性相位：零裕度池允许一个兼容的正损失残差达到归一化谱系数协方差包络，而正裕度池则通过一致的正间隔使每个兼容残差低于该包络。  

##### 答案：几何相位边界  
裕度 ν_A 是特征几何在所有兼容残差方向上施加的最弱收缩。将设计白化至 AᵀA = I_d 后，令  
$\mathcal{Z}_A = \{z \in \ker(A^\top) : \|z\|_2 = 1\}$，  
$R_A(z) = \sum_{i=1}^m \bigl(1 - \|a_i\|_2^2 - z_i^2\bigr) a_i a_i^\top$，  
$\nu_A = \min_{z \in \mathcal{Z}_A} \lambda_{\min}\bigl(R_A(z)\bigr)$，  
其中 $a_i^\top$ 是 A 的第 i 行。裕度完全由特征几何定义，并在整个兼容归一化残差球上取值。记 $\mathsf{T}_{\rm spec}^{\rm RU}(A,s)$ 为同一球上的最大归一化谱系数协方差。在正损失下，  
$\nu_A > 0 \Longleftrightarrow \mathsf{T}_{\rm spec}^{\rm RU}(A,s) < \alpha_s$，  
$\nu_A = 0 \Longleftrightarrow \mathsf{T}_{\rm spec}^{\rm RU}(A,s) = \alpha_s$，  
其中 $\alpha_s = \frac{m-s}{m-d}$。正分支源于响应感知收缩，但零分支并非形式化：单侧松弛界消失并不必然意味着相等。此处零裕度在普通体积法则下强制支持饱和，产生一个兼容残差，其在每个严格内部子集尺寸下均达到上界；该相位分类的是均匀严格性还是存在性紧致，而非正松弛的大小。  

##### 结果层次  
1. (i) *核心固定设计协方差包络相位（定理3）。*  
   纯特征裕度 ν_A 精确区分了“每个兼容残差的均匀严格性”与“由某个兼容残差达成”的情形，并有一个共同的零裕度见证适用于所有严格内部预算。其定量松弛陈述为单侧：它以 ν_A 的正倍数为下界，而非由其精确确定。  

2. (ii) *全局锐利的全预算基准与响应感知机制（定理1–2）。*  
   每个固定池和响应满足  
   $\overline{M}_s \preceq \frac{m-s}{m-d} L^* I_d$，  
   且其系数在全秩类中锐利。残差增强给出了精确的内部表示和一个边界有效的单侧预解式。  

3. (iii) *临界解释与可靠推论（定理4与推论5）。*  
   在临界等杠杆类中，经典的投影重复对边界是连续残差方向裕度的零集，具有双向一致性控制。可靠的下限证书给出保守的基数决策；固定剖面实例为补充。  

我们最后在冻结的公开特征池上评估证书/动作层，记录非平凡决策及其度量的固定池成本。  
图1总结了结构输入、精确相位和保守动作。  

> 图1：定理3是核心：定理1–2提供其基准和响应感知机制，而一个可计算的下限证书仅将正分支转化为保守的基数动作。  

## 2 设置、度量与范围  
令 $X \in \mathbb{R}^{m \times d}$ 具有满列秩，$y \in \mathbb{R}^m$ 为任意确定固定响应。定义  
$G = X^\top X$，  
$w^* = G^{-1} X^\top y$，  
$e = y - X w^*$，  
$L^* = \|e\|_2^2$。  

对于索引行的无序子集 $S \subseteq [m]$，$|S|=s$，记  
$G_S = X_S^\top X_S$，  
$D_S = \det(G_S)$。  
不同索引的重复行仍视为不同观测。  

当 $m > d$ 且 $d \leq s \leq m$ 时，普通未缩放固定尺寸体采样定义为  
$Z_{X,s} := \sum_{|U|=s} D_U = \binom{m-d}{s-d} \det(G)$，  
$\mathbb{P}_X(S) = \frac{D_S}{Z_{X,s}}$。  

该行列式律及其归一化是体采样的标准组成部分[11,12,3,22]。仅当 $D_S > 0$ 时，该集合支持估计量。在此类集合上，使用无权选定最小二乘：  
$w_S = G_S^{-1} X_S^\top y_S$，  
$L_S = \|X_S w_S - y_S\|_2^2$。  

零体积集概率为零，不获得伪逆、岭项、缩放、加权、替换规则或选定拟合。中心化二阶矩及其不变形式为  
$M_s = \mathbb{E}_X\bigl[(w_S - w^*)(w_S - w^*)^\top\bigr]$，  
$\overline{M}_s = G^{1/2} M_s G^{1/2}$。  

对于 $m > d$，令  
$\alpha = \frac{m-s}{m-d}$，  
$\beta = \frac{s-d}{m-d} = 1 - \alpha$。  

当 $\alpha L^* > 0$ 时，定义精确归一化方向量  
$q_s := \lambda_{\max}(\overline{M}_s) / (\alpha L^*)$。  
这不是 $M_s$ 的原始欧氏特征值；它仅度量上述条件固定池量。当分母为零时不形成方向商。  

### 2.1 端点与支持约定  
这些分支在形成任何归一化比或残差方向之前应用。若 $m=d$，则 $s=m$，选定拟合为全拟合，损失和协方差均为零；不计算任何含 $(m-d)^{-1}$ 的表达式。若 $m>d$ 且 $s=m$，唯一样本使 $M_s=0$ 且 $\alpha=0$，故不形成方向商。若 $L^*=0$，每个支持的选定拟合等于 $w^*$ 且 $M_s=0$；不形成残差方向。若 $s=d$，选定集为全集，$w_S=w^*$ 且 $M_s=0$；同样不形成方向商。