立场：让我们开发数据探针，从根本上理解数据如何影响LLM性能

# 立场：开发数据探针以从根本上理解数据如何影响大语言模型性能  
**来源：** https://arxiv.org/html/2605.18801  

###### 摘要  

数据是大语言模型（LLM）的基础。然而，对于某些数据为何在不同LLM工作流阶段（包括训练、微调、对齐、上下文学习等）具有效用，以及其背后的原因，仍是一个未解之谜。当前方法严重依赖对大型公开数据集进行大量实验，以获得数据过滤和数据集构建的经验性启发式规则。这些方法计算密集，且缺乏一种原则性的方式，来理解具体数据特征如何驱动LLM行为。在这篇立场论文中，我们主张需要开发系统性的方法论，从适当定义的随机过程中生成合成序列，目标是这些序列在用于LLM工作流的一个或多个阶段时，能够揭示有用的特征。我们将此类序列称为**数据探针**。通过观察LLM在数据探针上的行为，研究人员可以系统性地研究数据特征如何影响模型性能、泛化能力和鲁棒性。这些探针序列所展现的统计特性，可以用典型集等理论概念来审视——这些概念被推广以描述LLM的行为。这种数据探针方法提供了一条路径，用于超越经验性启发式规则，揭示数据在LLM训练和推理中作用的基础性洞察。  

**机器学习，ICML**  

## 1 引言  

大语言模型（LLM）的成功不仅源于模型架构和训练算法的进步，还依赖于获取海量多样化的数据（Grattafiori 等，2024 (https://arxiv.org/html/2605.18801#bib.bib15)；Mishra 等，2024 (https://arxiv.org/html/2605.18801#bib.bib23)；Brown 等，2020 (https://arxiv.org/html/2605.18801#bib.bib2)；DeepSeek-AI，2025 (https://arxiv.org/html/2605.18801#bib.bib8)）。原始数据通常不能直接使用，必须经过处理或过滤以确保质量。这种数据处理是资源密集型的（Penedo 等，2024 (https://arxiv.org/html/2605.18801#bib.bib25)），因此迄今为止，数据相关研究主要由具备必要计算和财务资源的大型机构进行（Grattafiori 等，2024 (https://arxiv.org/html/2605.18801#bib.bib15)；Gemma Team 等，2024 (https://arxiv.org/html/2605.18801#bib.bib13)；Su 等，2025 (https://arxiv.org/html/2605.18801#bib.bib35)；Gohari 等，2026 (https://arxiv.org/html/2605.18801#bib.bib14)）。虽然此类研究在实践中很有用，但关于数据如何影响LLM性能的**根本原因**的研究却很有限。除了需要大量资源之外，阻碍理解LLM数据的另一个障碍是缺乏系统性和原则性的方式来控制LLM训练和推理的数据输入。现实世界的数据通常不可直接控制，因为其真实分布很大程度上是未知的（Cvejoski 等，2024 (https://arxiv.org/html/2605.18801#bib.bib7)；Shu & Yu，2024 (https://arxiv.org/html/2605.18801#bib.bib33)）。因此，当前的数据处理方法依赖于经验性启发式规则，这些规则是通过大量实验（涉及以不同方式处理的数据进行LLM训练，并在基准数据集上进行评估）而开发的（Wettig 等，2024 (https://arxiv.org/html/2605.18801#bib.bib41)；Penedo 等，2024 (https://arxiv.org/html/2605.18801#bib.bib25)）。这类经验性发现通常仅在个案基础上成立。此外，训练数据可能被基准数据污染，而基准数据集本身可能不适合LLM将要应用的目标领域（Sainz 等，2023 (https://arxiv.org/html/2605.18801#bib.bib30)）。因此，一个重要的**开放问题**是数据属性与LLM行为之间的根本关系。解决这个问题至关重要，因为更好地理解数据如何影响LLM性能，可以带来更高效、更有针对性的数据集构建，从而降低成本与风险（例如幻觉），同时提升整体LLM性能。  

最近，一些理论研究尝试使用简化序列来分析基于Transformer架构的特定属性（Makkuva 等，2025 (https://arxiv.org/html/2605.18801#bib.bib21)；Rajaraman 等，2024 (https://arxiv.org/html/2605.18801#bib.bib28)）。尽管这些研究提供了有价值的见解，但它们的评估通常考虑过于简化的模型，与实际LLM工作流的关联性有限。目前所缺失的是一种**系统性且易于使用**的方法，能够在理论发现与实际应用之间建立联系，为实践者提供解释力和可操作的指导。  

在本文中，我们认为研究界应开发从完全定义的（已知）随机过程中生成合成序列的系统性方法论，目标是这些序列将成为理解数据与LLM性能之间关系的有用工具。我们将此类序列称为**数据探针**。数据探针设计为具有清晰的含义（通常在理论上），同时能够触发实际LLM中的特定行为。根据我们想要研究的LLM行为（例如幻觉、偏见、记忆、模式崩溃），可以使用不同的数据探针。与实际数据集相比，数据探针的独特性在于它们是从具有**已知**概率分布的随机过程中生成的。尽管这个分布可能是高维的，从人类视角难以完全理解，但该分布已知且能以数值表达这一事实，具有以下优势：  

1. **1.** 可以从同一分布生成近乎无限量的数据，因此训练数据和测试数据都可以生成并用于由数据探针驱动的实验。此类数据可以即时生成，无需管理大规模数据集。  
2. **2.** 任何给定序列相对于该分布的似然度都可以计算，这对于使用真实数据集的实验是不可能的，因为生成此类真实数据的底层随机过程是未知的。这解锁了新的可能性，例如检查训练数据与LLM生成数据之间似然度的差异，从而有助于推进LLM和生成式AI的研究。  

本质上，通过系统性地改变用于生成数据探针的概率分布的关键特征，研究人员可以观察这些属性如何影响LLM性能，其结果可以通过在已知分布上评估LLM生成的数据来获得。与由大规模数据集驱动的标准经验性研究相比，这种方法更可控，且所需资源显著减少。它可以揭示数据影响LLM的**核心原理**。这类基于数据探针的研究结果，将成为更复杂的理论分析和数据处理算法实际设计的**宝贵起点**。  

数据探针还允许更深层次地整合理论概念，例如信息论中的典型集（Cover & Thomas，2006 (https://arxiv.org/html/2605.18801#bib.bib6)），从而提供一个原则性的框架。然而，这种数据探针方法与大多数现有理论分析的不同之处在于，数据探针的设计旨在同时具有**理论价值与实践价值**。其结果提供了关于如何更好地构建和整理数据集的可行见解。通过这种方式，数据探针将成为连接理论与实践的**重要“接口”**，如图1（https://arxiv.org/html/2605.18801#S1.F1）所示。  

![图1：数据探针连接理论与实践。](图1标题)  

**图1：**数据探针连接理论与实践。  

这篇立场论文强调了开发和采用数据探针以推进研究与实践的重要性。它们提供了一种强大的方式，用于弥合理论与实际应用之间的差距，帮助社区开发更高效、更透明、更有效的策略，以利用数据开发下一代LLM。这种方法还可以激发学术机构与大型工业组织之间在数据相关研究上更紧密的合作与整合。  

## 2 理解LLM的当前现状  

对LLM的理解通过多种互补方法不断演进，每种方法都对这些复杂系统提供了独特的见解。尽管这些方法显著推进了我们的知识，但也揭示出数据探针方法可以填补的重要空白。  

**数据集与基准任务。** LLM的开发和评估很大程度上由标准化基准上的性能驱动。这些基准涵盖多种任务，包括问答、自然语言推理和文本生成（EleutherAI，2026 (https://arxiv.org/html/2605.18801#bib.bib10)；Chiang 等，2024 (https://arxiv.org/html/2605.18801#bib.bib4)；Zheng 等，2023 (https://arxiv.org/html/2605.18801#bib.bib44)）。然而，基于基准的评估通常不解释模型为何在特定类型样本上成功或失败。  

**LLM物理学。** 近期工作探索了使用受物理学启发的原理来理解LLM的行为和能力，通过剖析它们在不同领域（如层次结构理解、推理、事实知识管理和缩放定律）的能力（Allen-Zhu，2024 (https://arxiv.org/html/2605.18801#bib.bib1)；Kaplan 等，2020 (https://arxiv.org/html/2605.18801#bib.bib19)；Hoffmann 等，2022 (https://arxiv.org/html/2605.18801#bib.bib17)；Wang 等，2025 (https://arxiv.org/html/2605.18801#bib.bib38)）。虽然有些工作使用专门手工制作的训练数据在实验环境中研究特定问题，在某种程度上遵循了类似于数据探针的精神，但它们通常不利用数据的统计分布。LLM物理学中使用的一些数据创建机制可能过于针对所研究的问题，导致难以被重复用于其他问题或进行理论分析。  

**机械可解释性。** 机械可解释性旨在通过逆向工程LLM的内部表征和决策过程来理解它们（Singh 等，2024 (https://arxiv.org/html/2605.18801#bib.bib34)；Räuker 等，2023 (https://arxiv.org/html/2605.18801#bib.bib29)）。这包括分析注意力模式、识别负责特定行为的特定神经元或电路，以及追踪信息在模型层间的流动等技术。最近的进展揭示了用于归纳头、数学运算等任务的特定机制，为LLM如何处理和操作信息提供了具体见解，但对于不同类型训练数据如何导致这些机制的形成，理解仍然有限。  

**Transformer模型的理论分析。** 近期研究探讨了Transformer模型的理论方面，重点关注它们处理学习模式、捕获长距离依赖关系以及处理层次结构等任务的能力（Edelman 等，2024 (https://arxiv.org/html/2605.18801#bib.bib9)；Makkuva 等，2025 (https://arxiv.org/html/2605.18801#bib.bib21)；Rajaraman 等，2024 (https://arxiv.org/html/2605.18801#bib.bib28)；Von Oswald 等，2023 (https://arxiv.org/html/2605.18801#bib.bib36)；Zekri 等，2024 (https://arxiv.org/html/2605.18801#bib.bib43)）。这些分析通常使用简化的Transformer架构以使理论更易于处理。尽管它们有助于解释Transformer在理论上的工作原理，但与现实世界中LLM的联系有限，并且可能忽视了一些重要方面，例如特定数据特征如何影响模型行为。  

## 3 为何需要开发数据探针  

数据探针提供了一种方式，在受控环境中系统地变化分布属性，同时仍然与现实世界的LLM建立联系。它们之所以重要，是因为它们引入了一种结构化且可控的方式来研究数据本身，将数据视为具有已知统计特性的正式对象，而非固定输入。通过从明确定义的随机过程生成序列，数据探针能够精确指定分布特征，例如熵、互信息或时间相关性。这种控制水平在使用自然语言数据时是无法实现的，因为自然语言的真实底层分布是未知且难以建模的。此外，由于数据探针来自已知的生成机制，它们允许可重复的实验、易于处理的分析，以及与信息论等正式框架的直接整合。凭借这些特性，数据探针可以解决当前方法中的以下局限性。  

**实现资源高效的实验。** 研究数据如何影响LLM的困难之一，源于组装和管理大规模真实数据集的巨大成本（Lozhkov 等，2024 (https://arxiv.org/html/2605.18801#bib.bib20)；Penedo 等，2024 (https://arxiv.org/html/2605.18801#bib.bib25)；Weber 等，2024 (https://arxiv.org/html/2605.18801#bib.bib39)）。数据探针通过即时生成合成序列来规避这些成本，可以扩展到任意大小而无需额外的存储或整理工作。因此，研究人员和实践者可以快速迭代多种分布，用更少的计算资源测试关于数据质量和多样性的假设。  

**连接理论与实践。** 数据探针充当理论分析与实际LLM之间的“桥梁”，允许研究人员设计可控的分布，并逐步增加其复杂性。通过这种方式，可以评估理论预测在实践中是否成立，并迭代地完善理论和数据探针设计。  

**理解数据特征的影响。** 虽然基准突出了模型能做什么，但很少解释它们为何成功或失败。数据探针使得隔离统计属性并分析它们如何影响学习和泛化成为可能。由于底层分布已知，可以计算生成序列在真实数据分布上的统计量（例如似然度），从而揭示关于记忆或欠表征模式的见解。  

**减少经验性研究中的噪声。** 真实世界的数据集具有领域不平衡、标注伪影等属性，这使得难以将模型真实能力与数据中的虚假线索区分开来（Gardner 等，2021 (https://arxiv.org/html/2605.18801#bib.bib12)；Gururangan 等，2018 (https://arxiv.org/html/2605.18801#bib.bib16)）。相比之下，数据探针可以设计为消除或控制这些限制因素，从而允许更干净的实验，准确定位不同数据特征的作用。  

**扩展基准覆盖范围。** 尽管基准推动了LLM研究的进展，但它们自然滞后于现实语言任务的广度和复杂性（Chollet 等，2024 (https://arxiv.org/html/2605.18801#bib.bib5)；Fourrier 等，2024 (https://arxiv.org/html/2605.18801#bib.bib11)；Wang 等，2019 (https://arxiv.org/html/2605.18801#bib.bib37)）。数据探针可以通过创建针对语言复杂性中未被充分探索的方面（例如罕见句法模式和不寻常的组合结构）的新挑战集，来补充基准套件。这种有针对性的测试可以