Autoencoder参数的频谱特征作为数据的向量表示

# 自编码器参数作为数据向量表示的频谱特性

来源：https://arxiv.org/html/2609.03495

###### 摘要

111本文是发表于某俄语同行评审期刊论文的删减版（省略定理证明）及翻译版本。引用时请使用以下参考文献：Bishuk A., Nikitina M., Bakhteev O. “Spectral characteristics of autoencoder parameters as a vector representation of data.” Upravlenie bolsimi sistemami. 2026. Vol. 120. P. 51–83.

本文研究了自编码器模型参数与训练数据统计特性之间的关系。自编码器被定义为具有编码器-解码器架构的模型，其训练目标是通过压缩的潜在表示来重构输入数据。本文提出，模型参数可被视为相应样本的稠密向量表示。为验证此假设，本文进行了理论和实验研究，其中基于自编码器参数矩阵的频谱特性构建了向量表示。理论分析表明，模型参数矩阵的奇异值与训练数据协方差矩阵的特征值相关，确保了数据空间与参数空间之间的信息传递。在CIFAR-10和FashionMNIST数据集上的实验结果证实，所得向量表示能够在高精度下区分在不同数据子集上训练的模型，无需依赖复杂的向量生成算法或使用原始样本。这些结果表明，训练后的自编码器参数可被视为样本的表示。

*关键词* 机器学习⋅\cdot神经网络⋅\cdot向量表示⋅\cdot自编码器⋅\cdot频谱特性⋅\cdot生成模型⋅\cdot嵌入

## 1引言

基于人工神经网络的机器学习方法已成为现代数据分析各个领域应用的重要工具[1 (https://arxiv.org/html/2609.03495#bib.bib1), 2 (https://arxiv.org/html/2609.03495#bib.bib2)]。训练后神经网络的结构与其训练数据统计特性之间的关系是现代机器学习的基本问题之一[25 (https://arxiv.org/html/2609.03495#bib.bib25)]。理解训练数据的分布如何反映在模型参数中，对于神经网络可解释性、数据特性分析、架构选择以及模型元表示构建等领域至关重要[3 (https://arxiv.org/html/2609.03495#bib.bib3), 4 (https://arxiv.org/html/2609.03495#bib.bib4), 8 (https://arxiv.org/html/2609.03495#bib.bib8), 20 (https://arxiv.org/html/2609.03495#bib.bib20), 21 (https://arxiv.org/html/2609.03495#bib.bib21)]。此外，此问题对生成模型尤为重要，因为它们不仅提取模式，还形成反映数据分布结构的内部表示[30 (https://arxiv.org/html/2609.03495#bib.bib30), 24 (https://arxiv.org/html/2609.03495#bib.bib24)]。本文聚焦于自编码器，即基于编码器-解码器架构的神经网络。尽管其经典架构在形式上不是生成式的，但正则化变体能近似甚至构成完整的生成模型[6 (https://arxiv.org/html/2609.03495#bib.bib6), 17 (https://arxiv.org/html/2609.03495#bib.bib17), 22 (https://arxiv.org/html/2609.03495#bib.bib22)]。因此，分析自编码器的参数结构自然关联到更广泛的生成模型类别，本工作的成果可潜在地推广至该类别。

大量研究致力于构建机器学习模型的嵌入。经典方法依赖于编码架构参数[9 (https://arxiv.org/html/2609.03495#bib.bib9), 11 (https://arxiv.org/html/2609.03495#bib.bib11)]、使用单独模型获得的元表示[10 (https://arxiv.org/html/2609.03495#bib.bib10), 26 (https://arxiv.org/html/2609.03495#bib.bib26)]，或根据模型在测试数据上的输出构建的表示[16 (https://arxiv.org/html/2609.03495#bib.bib16)]。近期工作提出将模型视为连续空间中的一个点，从而支持模型搜索、插值和分析[7 (https://arxiv.org/html/2609.03495#bib.bib7), 15 (https://arxiv.org/html/2609.03495#bib.bib15)]。然而，这些方法大多要么需要直接访问原始数据，要么依赖于组合中间计算、架构特征或元信息的复杂程序化启发式方法。

本文考虑一种不同的方法。我们研究训练后模型的参数能在多大程度上作为其所训练数据的代表性描述。具体而言，我们验证以下假设：训练后神经网络参数的频谱特性构成了原始数据集的紧凑嵌入。因此，训练后的模型充当数据集的嵌入，而其参数则承载了底层数据分布的统计特性[19 (https://arxiv.org/html/2609.03495#bib.bib19), 23 (https://arxiv.org/html/2609.03495#bib.bib23)]。

为展示所提方法，我们引入一种基于模型参数矩阵奇异值分析的模型向量化方法。研究表明，所提方法能够以高准确度分离在不同数据集上训练的模型。此结果表明模型参数的频谱特性与训练数据集的统计信息之间存在深层关联。与基于外部特征或数据分布近似的方法不同，所提方法仅在模型的参数空间中操作，无需访问原始数据或额外训练辅助网络。

论文的理论部分为模型参数奇异值与数据协方差矩阵谱之间的关系提供了理论依据。研究表明，对于具有全连接层的自编码器，训练后权重矩阵的奇异值包含了训练数据集的分布信息。此外，还证明了如果底层数据集不同，则所得嵌入也不同。

实验部分旨在验证以下假设：即使是使用自编码器（AE）和变分自编码器（VAE）系列中的浅层架构，结合仅基于模型参数的非训练向量化方法，也能以高准确度区分在不同数据子集上训练的模型。在CIFAR-10[18 (https://arxiv.org/html/2609.03495#bib.bib18)]和FashionMNIST[29 (https://arxiv.org/html/2609.03495#bib.bib29)]数据集上的实验确认，使用其嵌入对此类模型进行分类，在标准分类指标（包括准确率、ROC AUC和平均精度）上达到了高值。此外，向训练数据集中逐步添加新类别或噪声，会在所得嵌入中以可预测的方式反映出来，表明模型空间具有有意义的几何结构。

所得结果使得神经网络参数可被视为描述数据的手段。在此意义上，训练后的模型不仅成为数据生成或近似的工具，也成为分析数据集结构及其之间关系的自然嵌入。

## 2问题陈述

令 p_c 表示类别 c∈{1,2,…} 在 d 维向量空间 R^d 上的数据分布。数据集表示为 X_c={x_i: x_i∼p_c}_{i=1}^n。一个数据集可能包含多个类别，每个类别对应其自身的分布 p_c。在经典的无监督学习设定中，c≡1，p_c≡p_1≡p，且 X_c≡X_1≡X。

我们考虑一族自编码器模型。模型定义为参数化函数 f_ψ: R^d → R^d，表示为编码器和解码器的复合：f_ψ = D_φ ∘ E_θ。模型参数表示为 ψ=(θ,φ)∈Ψ，其中 E_θ: R^d → R^z 是具有参数 θ 的编码器，D_φ: R^z → R^d 是具有参数 φ 的解码器。这里 z 表示隐藏空间的维度。训练通过最小化目标函数完成：

L(ψ; p_c) := -E_{x∼p_c}[l_ψ(x)],

其中被最大化的泛函 l_ψ(x) 定义为

l_ψ(x) = \begin{cases}
-\ell(x, f_ψ(x)), & \text{对于 AE}, \\
E_{h∼q_θ(h|x)}[-\ell(x, D_φ(h))] - \text{KL}(q_θ(h|x) ∥ p(h)), & \text{对于 VAE},
\end{cases}

这里 ℓ: R^d × R^d → R 是重构损失函数（例如均方误差或交叉熵），用于衡量输入向量 x 与其重构之间的差异；KL(⋅∥⋅) 表示 Kullback–Leibler 散度，衡量两个概率分布之间的差异；q_θ(h|x) 是在隐藏空间中的近似（变分）分布，由编码器参数化；p(h) 是隐藏空间中的先验分布（通常是多元正态分布 N(0, I)）。

对于标准自编码器（AE），目标简化为最小化重构误差。对于变分自编码器（VAE），目标包含两项：期望重构误差（期望在隐藏变量 h 上取）和 KL 正则化项，后者鼓励编码器分布 q_θ(h|x) 接近指定的先验分布 p(h)。

假设有一组生成模型可用，每个模型在代表特定底层总体的独立数据集上训练。目标是构建一个表示空间，其中每个模型被映射到一个稠密嵌入向量，该向量保留原始数据的统计特性。这样的空间应能够在无需重新训练或直接访问原始数据的情况下，分析数据集及其训练的模型。同时，所得嵌入不需要唯一地重构原始模型，而只需描述其预定义的一组属性。

期望表示的关键特性是保留区分在不同分布 p 生成的数据集上训练模型的能力。假设存在一个表示空间，其中数据集 X_a∈R^{n_a×d}、X_b∈R^{n_b×d} 和 X_c∈R^{n_c×d} 是线性可分的。对于在这些数据集的样本子集上训练的生成模型的嵌入，也要求具有相同特性。

我们引入基于奇异值的模型和数据集嵌入。将模型参数 ψ 表示为对应其各层的权重矩阵集合 {W_l}_{l=1}^L。

模型奇异值 σ^model(ψ) 通过算法定义（见算法1 (https://arxiv.org/html/2609.03495#alg1)）：对于每个权重矩阵 W_l，计算其前 r 个最大的奇异值；将所得嵌入按层顺序连接并归一化。因此，向量 σ^model(ψ) 由模型参数和架构唯一确定。数据集 X_c 的数据奇异值 σ^data(X_c) 定义为其前 m 个最大奇异值按降序排列的向量。

###### 定义1。

给定向量集合 X_a∈R^{n×d} 和 X_b∈R^{m×d}。定义混合为将来自 X_a 和 X_b 的向量拼接以获得 X̃_{a|b}∈R^{(n+m)×d}。

α-混合定义为将 X_a 和来自 X_b 的 ⌊αm⌋（α∈[0;1]）个向量拼接以获得 X̃_{a|b}∈R^{(n+⌊αm⌋)×d}。

然后，将来自 X_c 的样本混入 X_a 和 X_b 应使所得数据集 X_{a+c}、X_{b+c} 彼此更接近，如图1 (https://arxiv.org/html/2609.03495#S2.F1)(a) 所示，即降低它们的线性可分性，如图1 (https://arxiv.org/html/2609.03495#S2.F1)(b) 所示。在所选数据集样本上训练的生成模型的嵌入应表现出相同的特性。

参见图例 图1：嵌入空间中数据集之间关系的示意图：a) 当来自第三个数据集 c 的向量混入样本 a 和 b 时，所得样本 a+c 和 b+c 的嵌入变得更接近；b) 当所得样本的向量变得足够接近时，它们不再线性可分。
此外，表示应对于同一数据分布内的变化具有鲁棒性，同时对数据集之间的显著统计差异保持敏感。一个重要任务是评估模型嵌入在多大程度上保留了关于原始数据集的信息。为此，不仅要考虑重构原始…