WARP: 权重空间分析用于恢复训练数据组合

# WARP: 通过权值空间分析恢复训练数据组合
来源: https://arxiv.org/html/2607.01686
Aditya GoyalJohn Cooper威斯康星大学麦迪逊分校Frederic Sala威斯康星大学麦迪逊分校

###### 摘要

基础模型通常会公开发布，然而用于训练它们的数据配方——例如决定不同来源采样比例的领域混合权重——却很少被披露。这造成了一种访问不对称：研究人员研究最终得到的模型，但对于产生这些模型的训练分布缺乏了解。以往用于推断训练数据的工作，如成员推断，是在单个样本级别进行检测，因此无法刻画训练语料库的全局组成。我们提出了 WARP，这是一个直接从已发布权重中恢复微调模型训练混合比例的框架。WARP 通过模型合并技术在内插基础模型和微调模型，生成 *伪检查点*，这些检查点近似替代缺失的训练轨迹，并在权重空间中暴露出训练数据的几何足迹。从这些模拟足迹中，WARP 提取几何特征，并使用无参数 softmax 读出器或在合成混合上训练的 MLP 投影器，将这些特征映射到领域比例。在 BERT 和 GPT-2 的控制实验中，WARP 恢复领域混合的平均绝对误差 (MAE) 分别低至 0.046 和 0.104，优于成员推断和能够访问真实训练轨迹的变体。

††\* 平等贡献。通讯作者: ¡thuang273, agoyal33¿@wisc.edu 11{\\footnotemark} 本工作发表于 ICML 2026 权值空间对称性研讨会 (WSS): 从基础到实际应用。 22{\\footnotemark} 我们的源代码在此处 (https://github.com/SprocketLab/WARP) 提供。

## 1 引言

基础模型在包含网络文本、源代码和科学文献的庞大多样语料库上进行训练。决定模型最终能力的一个主要因素是它的 *领域混合*：样本从这些不同来源中抽取的比例 [6 (https://arxiv.org/html/2607.01686#bib.bib22)]。最近的研究表明，调整数据混合不仅仅是确保知识多样性，更是关于训练效率——一个精心设计的混合可以产生显著优于朴素采样的模型，同时需要更少的优化步骤 [31 (https://arxiv.org/html/2607.01686#bib.bib19); 11 (https://arxiv.org/html/2607.01686#bib.bib20); 4 (https://arxiv.org/html/2607.01686#bib.bib37); 9 (https://arxiv.org/html/2607.01686#bib.bib21)]。

然而，大多数前沿模型背后的混合配方仍然是专有的且不透明的。这种保密反映了现代 AI 中更广泛的 *访问不对称*：通用模型越来越公开地发布，而用于生成它们的精心策划的数据集却不公开。这种不透明性给研究社区带来了结构性障碍。不断微调已发布模型而不了解其原始分布的实践者可能面临意外的能力漂移；更广泛地说，恢复模型的数据组合对于审计数据污染 [14 (https://arxiv.org/html/2607.01686#bib.bib35); 13 (https://arxiv.org/html/2607.01686#bib.bib36); 21 (https://arxiv.org/html/2607.01686#bib.bib33)] 和解释不同的模型行为 [28 (https://arxiv.org/html/2607.01686#bib.bib32)] 非常有用。

然而，突破这一障碍绝非易事。现有领域混合优化的方法主要沿 *正向* 方向运作——*从数据到模型*。它们要么通过梯度信息为给定数据集建立优化组合 [11 (https://arxiv.org/html/2607.01686#bib.bib20); 9 (https://arxiv.org/html/2607.01686#bib.bib21)]，要么训练多个代理模型来捕捉从混合到下游性能的关系 [29 (https://arxiv.org/html/2607.01686#bib.bib23); 20 (https://arxiv.org/html/2607.01686#bib.bib24); 19 (https://arxiv.org/html/2607.01686#bib.bib25); 27 (https://arxiv.org/html/2607.01686#bib.bib38)]。这些自然的设计使得描述已发布权重的特征变得困难。另一种选择——*从模型逆推回到它的训练数据*——传统上被框定为成员推断 (MI) [10 (https://arxiv.org/html/2607.01686#bib.bib13); 8 (https://arxiv.org/html/2607.01686#bib.bib5); 23 (https://arxiv.org/html/2607.01686#bib.bib14); 26 (https://arxiv.org/html/2607.01686#bib.bib34)]，它询问特定样本是否出现在训练池中，通常通过将其归因（例如，损失或输出 logits）与参考分布进行比较。然而，MI 从根本上是一个样本级别的检测任务，无法提供底层领域比例的整体视图。

参见图注
图1：领域混合问题的两个方向。**左**：研究充分的*正向* 问题——给定一个语料库，搜索一个优化的混合 π⋆ 用于多个领域（例如，网络、数学、代码、代理数据），并在其下训练一个模型 θ⋆，其最终权重随后公开发布。**右**：我们研究的*逆向* 问题——仅给定已发布的端点 (θbase⋆, θref⋆) 和一个小型探测数据集，在语料库和真实训练轨迹被隐藏的情况下，恢复产生微调模型的领域比例估计 π^。

一个有前景的方向最近出现：使用 *权值空间几何体*，这是始终可用的一个人工制品，来恢复关于训练数据的见解 [24 (https://arxiv.org/html/2607.01686#bib.bib4); 3 (https://arxiv.org/html/2607.01686#bib.bib3); 16 (https://arxiv.org/html/2607.01686#bib.bib31)]。例如，Mimic 分数 [16 (https://arxiv.org/html/2607.01686#bib.bib31)] 将权值空间中的方向向量与训练梯度结合起来，以估计用于数据整理的样本效用。这些方法共享一个简单前提：*模型的参数编码了其训练历史的痕迹，因此也编码了产生它的数据的痕迹*。然而，它们通常需要访问 *中间* 训练检查点来重建学习轨迹——这在实践中很少是一种奢侈。对于绝大多数已发布的模型，只能获得最终权重（例如，Instruct, Chat 版本）和基础模型（例如，仅预训练的）：起点和终点，没有它们之间路径的记录。

在这项工作中，我们通过 WARP（用于恢复训练数据组合的权值空间分析）打破了这种不对称性，这是一个框架，可以直接从发布的微调模型权重中恢复其领域混合。我们认为，*尽管真实的训练轨迹已经丢失，但两个端点之间的替代内插仍然在周围的权值空间几何结构中暴露出可用的结构*。具体来说，我们使用模型合并技术在基础模型和微调模型之间进行内插，生成 *伪检查点*，这些检查点替代了未观察到的参数演化。从这些模拟轨迹中，提取的几何特征使我们能够捕获训练数据的分布足迹。给定一个小型探测数据集，(i) 无参数 softmax 读出器可以恢复粗略的混合估计；或者 (ii) 一个更强的变体使用合成混合来构建 MLP，用于学习从几何特征到预测混合的投影。

我们通过训练已知混合下的 BERT [7 (https://arxiv.org/html/2607.01686#bib.bib1)] 和 GPT-2 [25 (https://arxiv.org/html/2607.01686#bib.bib15)]，并从每个微调检查点恢复比例，在受控环境中实证验证了 WARP。在四十个实验试验中，WARP 在 BERT 上实现了低至 0.046 的平均绝对误差 (MAE)，在 GPT-2 上实现了 0.104 的平均绝对误差 (MAE)，平均分布在四个文本数据集上，优于样本级别的 MI 基线以及允许使用真实训练轨迹的变体。此外，WARP 估计器在早停、收敛和过训练的检查点上仍然准确——反映了当今的后训练机制，其中发布的模型经常被推到超过计算最优的预算，证明了其对不同训练配方的鲁棒性。

我们将我们的贡献总结如下：

- **消除访问不对称**。我们形式化了从微调模型的权值空间足迹恢复其领域混合的问题，仅依赖于大多数已发布模型可用的人工制品。
- **模拟训练轨迹**。我们提出了 WARP，它通过模型合并重建缺失的路径，从而避免了中间检查点的需求，然后将得到的权值空间几何投影到领域混合估计。
- **强大的实证性能**。在受控的微调运行中，WARP 优于样本级别的 MI 基线，甚至优于能够访问真实训练轨迹的变体。
- **跨训练配方的鲁棒性**。WARP 在恢复收敛和过训练检查点时保持准确，展示了其对不同训练配方的鲁棒性。

## 2 相关工作

我们的工作处于三条研究线索的交汇点：(i) 领域混合优化，(ii) 训练数据推断，以及 (iii) 模型合并技术。

#### 领域混合优化。

建立理想的数据混合在训练基础模型中起着关键作用 [6 (https://arxiv.org/html/2607.01686#bib.bib22)]。与其依赖网格搜索来发现最佳配置，最近的一系列工作开发了优化数据混合的原则性方法 [31 (https://arxiv.org/html/2607.01686#bib.bib19); 4 (https://arxiv.org/html/2607.01686#bib.bib37); 5 (https://arxiv.org/html/2607.01686#bib.bib18)]。这些方法大致分为两类：(i) 静态混合和 (ii) 动态重新加权。静态方法在训练前固定混合，通常使用代理模型来预测混合权重如何影响下游性能——例如，通过拟合一个回归模型，将权重映射到性能 [29 (https://arxiv.org/html/2607.01686#bib.bib23); 20 (https://arxiv.org/html/2607.01686#bib.bib24); 19 (https://arxiv.org/html/2607.01686#bib.bib25); 27 (https://arxiv.org/html/2607.01686#bib.bib38)]，或通过利用来自保留集的梯度信息来优化权重 [9 (https://arxiv.org/html/2607.01686#bib.bib21)]。动态方法则在训练过程中调整混合权重，例如通过构建梯度对齐矩阵 (R&B) [11 (https://arxiv.org/html/2607.01686#bib.bib20)] 或将数据混合视为多臂老虎机问题 [2 (https://arxiv.org/html/2607.01686#bib.bib29)]。*所有这些方法都沿正向方向操作：给定数据，找到最佳混合。* 相比之下，我们解决反向问题：给定模型，我们旨在恢复产生它的混合。

#### 训练数据推断。

推断模型训练数据的属性，特别是对于大型语言模型，越来越引起人们的兴趣，动机既有隐私担忧——关于未经授权使用版权和个人信息 [14 (https://arxiv.org/html/2607.01686#bib.bib35); 22 (https://arxiv.org/html/2607.01686#bib.bib28)]——也有为下一轮数据整理提取高质量数据见解的实际效用 [16 (https://arxiv.org/html/2607.01686#bib.bib31)]。一个常见的公式是 *成员推断* [10 (https://arxiv.org/html/2607.01686#bib.bib13); 8 (https://arxiv.org/html/2607.01686#bib.bib5); 23 (https://arxiv.org/html/2607.01686#bib.bib14); 26 (https://arxiv.org/html/2607.01686#bib.bib34)]，它通过将模型的行为与参考分布进行比较来检测特定样本是否用于训练，例如，通过检查未调优和微调模型之间输出 logits 的差异。然而，成员推断在单个样本级别运作，因此缺乏领域如何相互作用的整体视图。即使将检测到的样本聚合以恢复领域混合，得到的估计也局限于探测数据集，并且仍然是次优的。在这项工作中，我们提出了一个框架，该框架*在权值空间中恢复模型的训练轨迹，并利用领域级别的几何特征来恢复训练混合*。

#### 模型合并技术。

模型合并将两个或多个模型组合成一个融合模型，该模型继承每个模型的能力 [34 (https://arxiv.org/html/2607.01686#bib.bib7); 12 (https://arxiv.org/html/2607.01686#bib.bib27); 17 (https://arxiv.org/html/2607.01686#bib.bib11)]。它在权值空间中运作，其中模型权重可以被排列 [1 (https://arxiv.org/html/2607.01686#bib.bib6); 18 (https://arxiv.org/html/2607.01686#bib.bib12)]、内插 [32 (https://arxiv.org/html/2607.01686#bib.bib16); 36 (https://arxiv.org/html/2607.01686#bib.bib9)]、拼接 [15 (https://arxiv.org/html/2607.01686#bib.bib8)] 或平均 [30 (https://arxiv.org/html/2607.01686#bib.bib10)] 以产生多功能的技能。大多数工作侧重于解决模型之间的冲突，以最大化融合模型的性能。WARP 与此观点不同：我们不将合并视为结合能力的一种方式，*而是将合并用作模拟未观察到训练轨迹的机制——构建替代基础模型及其微调后代之间缺失路径的伪检查点*。

## 3 框架

我们提出 WARP 在两个实际约束下恢复微调模型的领域混合：(i) 最终权重和相应的基础模型可用，(ii) 实践者可以访问数据源 S，微调数据从中抽取（例如，网络数据集），并且可以自由地从中采样少量标记示例。我们认为，*在基础模型及其微调后代之间描绘的几何结构编码了训练数据的分布足迹，并且可以通过测量来自每个领域的样本与几何结构对齐的程度来读出这个足迹*。

参见图注
图2：WARP 概述。(1) 模拟训练轨迹：由于真实的微调路径未被观察到，我们首先通过模型合并获得的伪检查点序列来近似它。(2) 提取几何足迹：在每个伪检查点，我们通过将探测样本（来自每个领域）的梯度投影到指向参考模型的方向来计算 Mimic 分数。这衡量了每个领域与微调期间实际采取的路径的契合程度。(3) 从几何到混合的投影：得到的足迹矩阵被映射到预测的领域混合，要么通过无监督的 softmax 读出器，要么通过一个在合成混合-足迹对上训练的监督 MLP 投影器。

我们首先介绍符号，然后描述我们如何通过模拟绕过未观察到的学习轨迹（§3.1），如何将得到的权值空间几何转换为领域级别的信号（§3.2），以及最后如何将此信号映射到预测的领域混合（§3.3）。我们在图 2 中展示了我们的框架工作流程。此外，我们在附录 A 中提供了一个统一的算法。

#### 符号。

设 θbase 表示公开可用的基础模型（仅预训练）的参数，θref 表示从其派生的已发布微调模型的参数。其微调数据 Dref 从跨越 K 个领域的源 S 中采样，未知的混合比例为 π⋆ = (π1⋆, ..., πK⋆) ∈ Δ^{K-1}。