大型语言模型的频谱特征

# 大语言模型的谱特征
来源：https://arxiv.org/html/2607.03377
\(2026\)

###### 摘要。

公开可用的大语言模型（LLM）库增长迅速，这对大规模系统化管理和量化（如模型谱系追踪、许可与评估）提出了重大挑战。然而，任务特定的基准测试在此场景下并不足够，因为LLM在架构、规模与训练流程上差异巨大。为应对这一挑战，我们采用基于*谱形状*的度量，依据重尾自正则化理论来管理与量化LLM。我们的方法利用权重经验谱密度的形状信息作为每个模型的紧凑谱特征。该特征捕捉预训练模型的内在属性，并在后训练阶段保持稳健，因此适用于模型级分析。此外，该度量是*无数据*、*计算高效*且*尺度不变*的，使其能够在大规模分析中实际应用。同时，我们整理了一个包含主要开源LLM系列的大型多样化模型语料库，并用于系统评估跨模型和下游任务的谱度量与非谱度量。我们证明，我们的谱特征支持模型谱系追踪、相似模型的无监督聚类以及模型性能的量化。总体而言，所提出的谱特征为跨LLM的广泛性能趋势提供了一个有意义的代理指标，从而支持大型模型集合的高效组织、比较与分析。代码可在https://github.com/Ingrid-505/Spectral_Signature获取。

大语言模型；模型谱系；模型排序；权重空间学习

††期刊年份：2026††版权：cc††会议：第32届ACM SIGKDD知识发现与数据挖掘会议卷2，2026年8月9日至13日，韩国济州岛††书名：第32届ACM SIGKDD知识发现与数据挖掘会议卷2（KDD '26），2026年8月9日至13日，韩国济州岛††DOI：10.1145/3770855.3818090††ISBN：979-8-4007-2259-2/2026/08## 1. 引言

近年来，公开可用的大语言模型（LLM）数量迅速增长，通过Hugging Face（HF）等开源平台可获取的模型已达数十万个（Zhuang等，2024（https://arxiv.org/html/2607.03377#bib.bib28））。这些模型在训练轨迹上表现出显著多样性，包括模型架构、参数规模、训练数据与经验性能的差异（Horwitz等，2025a（https://arxiv.org/html/2607.03377#bib.bib4））。随着生态系统的发展，除了任务级基准测试之外，对可靠且高效的方法来表征、比较与管理LLM的需求日益增加。典型例子包括：为知识产权与安全目的识别已部署LLM系统是否能追溯到同一基础模型（Zhu等，2025（https://arxiv.org/html/2607.03377#bib.bib29）），以及在大型LLM数据库中追踪和组织模型变体与版本（Horwitz等，2025b（https://arxiv.org/html/2607.03377#bib.bib5））。此外，LLM在不同下游任务中呈现出独特的特性，不同模型在代码生成、数学推理、长上下文处理或交互对话等领域各有专长。这些考虑指向一个需求：需要一种*有原理*且*轻数据*的框架，用于大规模LLM集合的模型来源追踪、模型特性捕捉与性能量化。

在这项工作中，我们引入了一个基于*谱形状*的LLM量化视角，该视角建立在重尾自正则化（HT-SR）理论的见解之上（Martin和Mahoney，2021（https://arxiv.org/html/2607.03377#bib.bib13）；Martin等，2021（https://arxiv.org/html/2607.03377#bib.bib36）；Martin和Hinrichs，2025（https://arxiv.org/html/2607.03377#bib.bib37））。HT-SR理论分析权重矩阵的特征谱，先前的研究（Yang等，2023（https://arxiv.org/html/2607.03377#bib.bib24）；Martin等，2021（https://arxiv.org/html/2607.03377#bib.bib36））表明，经验谱密度（ESD）的形状编码了关于模型容量、质量与训练动态的信息性信号，这些信号是尺度度量无法很好捕捉的。此外，ESD形状度量与数据无关、计算量轻，并且在噪声和缩放下保持稳健。这些特性使其特别适合大规模LLM场景，因为在这些场景中任务特定的评估可能成本高昂。不同量化度量的概览见表1（https://arxiv.org/html/2607.03377#S1.T1）。

我们使用ESD的形状度量，即PL_Alpha_Hill，作为每个LLM的*谱特征*。PL_Alpha_Hill度量将逐层权重特征谱的全局结构总结为紧凑表示，从而支持在大型模型集合中进行高效存储与比较。我们采用这种谱特征来支持三个下游任务：有监督的模型分类、LLM的无监督聚类以及LLM性能的量化。我们的贡献总结如下。

- •我们引入了一种基于形状的度量，用于可靠且高效地表征、比较和量化LLM，超越了任务级基准测试。我们的度量*尺度不变*、*无数据*、*理论驱动*且*易于计算*。
- •我们整理了一个多样且具代表性的LLM语料库（包含多达499个模型），并用于对三个任务进行基准测试：LLM相似性度量、模型分类与聚类以及性能预测。我们还进一步将我们的谱特征与各种实验设置下的一系列基线进行了系统比较，展示了在任务与条件下的*一致有效性*。
- •我们在输出不变重参数化和噪声扰动下比较了基于形状和基于尺度的度量。ESD形状度量保持稳定，而基于尺度的基线则退化，表明谱形状捕捉了可靠的LLM量化所需的内在权重结构。

表1. 不同度量在LLM任务中的比较。✓和✗分别表示强性能和弱性能。度量 | 尺度不变性 | 无数据 | 易于计算 | 可扩展性 | 理论驱动 | 分类 | 聚类 | 量化
---|---|---|---|---|---|---|---|---
Logits（Yang和Wu，2024（https://arxiv.org/html/2607.03377#bib.bib53）） | ✓ | ✗ | ✓ | ✗ | ✗ | ✓ | ✓ | ✗
REEF（Zhang等，2025（https://arxiv.org/html/2607.03377#bib.bib48）） | ✓ | ✗ | ✓ | ✗ | ✗ | ✓ | ✓ | ✗
PCS（Zeng等，2024（https://arxiv.org/html/2607.03377#bib.bib3）） | ✗ | ✓ | ✓ | ✗ | ✗ | ✓ | ✓ | ✗
谱范数 | ✗ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓
Log alpha范数 | ✗ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓
形状度量（本文） | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓

## 2. 相关工作

#### 模型谱系与独立性测试。

开源LLM数量的增长推动了关于确定LLM谱系的研究——两个模型是独立训练的，还是其中一个从另一个训练而来——这对知识产权和模型安全性至关重要。最近的研究采用了不同的方法：基于输出的方法使用输出比较（Nikolic等，2025（https://arxiv.org/html/2607.03377#bib.bib30））、指纹查询（Jin等，2024（https://arxiv.org/html/2607.03377#bib.bib27））和词汇线索（Sun等，2025（https://arxiv.org/html/2607.03377#bib.bib2）；Wu等，2023（https://arxiv.org/html/2607.03377#bib.bib31））来进行模型比较，无需参数访问；水印技术在训练或解码过程中注入来源信息（Wang和Kerschbaum，2019（https://arxiv.org/html/2607.03377#bib.bib34）；Uchida等，2017（https://arxiv.org/html/2607.03377#bib.bib35）；Gu等，2022（https://arxiv.org/html/2607.03377#bib.bib33）；Jiang等，2025（https://arxiv.org/html/2607.03377#bib.bib32））；而白盒方法则执行假设检验（Zhu等，2025（https://arxiv.org/html/2607.03377#bib.bib29））或使用基于模型权重结构导出的度量进行指纹识别（Zeng等，2024（https://arxiv.org/html/2607.03377#bib.bib3），2025（https://arxiv.org/html/2607.03377#bib.bib42）；Wang等，2025（https://arxiv.org/html/2607.03377#bib.bib41）；Yoon等，2025（https://arxiv.org/html/2607.03377#bib.bib39））。

#### 模型动物园与LLM嵌入。

近年来，人们对探索基于表示的方法以捕捉模型依赖性、属性与关系产生了越来越大的兴趣，从而实现对大型模型动物园的高效组织与管理。相关方向包括LLM嵌入（Zhuang等，2024（https://arxiv.org/html/2607.03377#bib.bib28））、权重空间学习（Horwitz等，2025a（https://arxiv.org/html/2607.03377#bib.bib4），b（https://arxiv.org/html/2607.03377#bib.bib5）；Gueta等，2023（https://arxiv.org/html/2607.03377#bib.bib6））以及基于损失景观的分组（Gueta等，2023（https://arxiv.org/html/2607.03377#bib.bib6）；Schürholt等，2025（https://arxiv.org/html/2607.03377#bib.bib7））。LLM嵌入方法（Zhuang等，2024（https://arxiv.org/html/2607.03377#bib.bib28））学习紧凑的模型级表示，可用于预测跨任务的下游性能而无需额外推理。相比之下，权重空间学习方法直接操作模型参数。例如，Horwitz等人（Horwitz等，2025a（https://arxiv.org/html/2607.03377#bib.bib4））将权重空间距离与模型元数据相结合，构建了一个开放模型的“地图集”，支持在大型仓库中进行相似性搜索和来源分析。另一项互补的工作（Schürholt等，2025（https://arxiv.org/html/2607.03377#bib.bib7））考虑了损失景观和基于相的信息（Yang等，2021（https://arxiv.org/html/2607.03377#bib.bib8）），例如模式连接性和CKA相似性，以将模型划分为不同的机制并评估其相似性。

#### HT-SR理论。

HT-SR理论是基于随机矩阵理论分析神经网络（NNs）权重矩阵几何结构的理论框架（Mahoney和Martin，2019（https://arxiv.org/html/2607.03377#bib.bib12）；Martin和Mahoney，2021（https://arxiv.org/html/2607.03377#bib.bib13）；Couillet和Liao，2022（https://arxiv.org/html/2607.03377#bib.bib14）；Liao和Mahoney，2025（https://arxiv.org/html/2607.03377#bib.bib15））。HT-SR理论基于一个观察提出：训练良好、最先进的NN通常在每层的ESD中表现出HT（重尾）结构。同时，关于随机梯度下降中HT现象与泛化性能之间关系的若干严格理论也已建立，为HT-SR理论提供了进一步的理论支持（Gurbuzbalaban等，2021（https://arxiv.org/html/2607.03377#bib.bib19）；Hodgkinson和Mahoney，2021（https://arxiv.org/html/2607.03377#bib.bib20）；Hodgkinson等，2022（https://arxiv.org/html/2607.03377#bib.bib21）；Simsekli等，2019（https://arxiv.org/html/2607.03377#bib.bib22），2020（https://arxiv.org/html/2607.03377#bib.bib23））。最近的工作扩展了理论基础，并表明HT-SR理论可用于评估现代深度NN模型在多个领域（例如计算机视觉和自然语言处理）中的训练质量，而无需访问任何训练或测试数据（Yang等，2023（https://arxiv.org/html/2607.03377#bib.bib24）；Martin和Mahoney，2021（https://arxiv.org/html/2607.03377#bib.bib13））。基于这一见解，近期研究进一步提出了基于HT-SR理论的实用NN应用方法，包括超参数调优（Zhou等，2023（https://arxiv.org/html/2607.03377#bib.bib1）；Liu等，2024（https://arxiv.org/html/2607.03377#bib.bib16）；Hu等，2025（https://arxiv.org/html/2607.03377#bib.bib17））和模型剪枝（Lu等，2024（https://arxiv.org/html/2607.03377#bib.bib18）；Hu等，2025（https://arxiv.org/html/2607.03377#bib.bib17））。在这项工作中，我们使用HT-SR理论来分析LLM权重矩阵的几何相似性。

## 3. 预备知识

#### 问题设置。

在大型LLM存储库中，许多检查点共享一个共同的预训练主干，但通过后训练、蒸馏、剪枝/量化或模型合并而有所不同。我们的目标是执行*无数据*的谱系分析：直接从权重比较模型并追踪主干关系。这要求对输出不变变换（例如均匀缩放、隐藏单元置换和线性链重参数化）具有稳健性，因为这些变换可能使朴素的权重空间相似性不可靠。因此，我们聚焦于权重矩阵的谱形状统计量，它捕捉内在的权重结构，同时对于改变参数化但保持模型输入-输出函数的变换不那么敏感。

#### 使用HT-SR理论的权重分析。

HT-SR理论（Martin和Mahoney，2021（https://arxiv.org/html/2607.03377#bib.bib13））展示了一个经验事实：训练良好的NN在权重矩阵中往往表现出强相关性，导致每个权重矩阵的ESD呈现重尾分布。ESD描述了权重矩阵W的协方差矩阵W⊤W的特征值分布。HT-SR理论可用于分析训练过程中权重矩阵ESD的动态变化，方法是使用幂律分布（PL）在区间(λmin,λmax)内对ESD的尾部成分进行建模，尾部指数为α：p(λ)∝λ−α,λmin<λ<λmax。

一种常用的近似尾部指数α的方法是Hill估计量（Hill,1975（https://arxiv.org/html/2607.03377#bib.bib25）），它计算估计值PL_Alpha_Hill：

\(1\)PL_Alpha_Hill=1\+k∑i=1kln⁡λn−i\+1λn−k,其中{λi}i=1n按升序排序。对于k的选择，我们采用先前工作的做法（Zhou等，2023（https://arxiv.org/html/2607.03377#bib.bib1）；Yang等，2023（https://arxiv.org/html/2607.03377#bib.bib24）），设k=n2。PL_Alpha_Hill单独度量每个层的特征谱形状。与基于范数的度量（如谱范数或RMS范数）不同，PL_Alpha_Hill在缩放下具有稳健性。此外，由于置换是正交基变换，W⊤W的谱（因此其ESD形状）对隐藏单元置换保持不变，这使得PL_Alpha_Hill成为我们谱特征的一个稳定构建块（第4.1节（https://arxiv.org/html/2607.03377#S4.SS1））。PL_Alpha_Hill还度量ESD形状的动态变化，先前的工作（Yang等，2023（https://arxiv.org/html/2607.03377#bib.bib24）；Liu等，2024（https://arxiv.org/html/2607.03377#bib.bib16））表明PL_Alpha_Hill反映了不同层的训练质量。PL_Alpha_Hill较大的层往往“过度训练”，而PL_Alpha_Hill较小的层则相对“欠训练”。

#### ESD的稳健性