立场：思想应成为机器学习研究的核心

# 立场：思想应成为机器学习研究的核心
来源：https://arxiv.org/html/2605.15253
###### 摘要

机器学习研究日益分化为两种脱节模式：以基准驱动的工程化方法——优先考虑指标而非理解；以及理想化理论——往往难以迁移到现代系统中。在本立场论文中，我们认为该领域过于聚焦这些端点，忽视了核心科学对象：思想。我们提出一个“思想优先”框架，其中*思想*因其在现代模型中预测的*行为特征*而受到重视，这些特征通过*定制实验*进行检测，这些实验旨在发现相关模式，而非赢取排行榜。这一转变不仅弥合了理论与实践的鸿沟，还通过消除“复杂性溢价”促进公平，使计算、资金和人力资源有限的科研人员也能做出严谨的科学贡献。最终，我们倡导一种以思想为中心的研究文化，将基准和定理视为检验机制性假设的工具，而非终极目标。

机器学习，ICML

## 1 引言

机器学习研究已汇聚成两种主导模式。在实证方面，共享基准和排行榜定义成功：贡献主要通过其对广泛认可测试集上单一数字的影响来评判（Lipton and Steinhardt, 2018 (https://arxiv.org/html/2605.15253#bib.bib1); Dehghani et al., 2021 (https://arxiv.org/html/2605.15253#bib.bib37)）。在理论方面，许多结果通过高度理想化设定中的保证强度来评估，这些设定仅部分类似于当代过参数化模型（Baraniuk et al., 2020 (https://arxiv.org/html/2605.15253#bib.bib54); Zhang et al., 2017 (https://arxiv.org/html/2605.15253#bib.bib53)）。两种模式都带来了实际进展，但它们也缩小了贡献的范畴和参与者的范围，尤其是当大型复杂模型和广泛消融实验成为事实上的必要条件时（Ahmed and Wahed, 2020 (https://arxiv.org/html/2605.15253#bib.bib80)）。

#### 我们的立场。

在本文中，我们认为机器学习中的核心科学对象并非基准分数或定理，而是一个*思想*：一个关于学习系统如何工作、它们能利用何种结构、或应如何被评估的假设。我们将这一视角称为*思想优先*。当思想产生我们可以在现代模型行为中寻找的*特征*（图1 (https://arxiv.org/html/2605.15253#S1.F1)），例如特定模式、特征性失败模式或表示几何的定性变化时，思想便获得了科学内涵。随后，实验被设计来寻找这些特征并排除竞争性解释，而非主要为了在固定排行榜上最大化性能。这颠倒了通常的验证顺序：我们不是从一个大型系统、基准或理论出发，询问能提取出什么结果，而是从思想出发，询问它预测了什么行为以及如何检验这些预测。按照这种观点，简单的模型、小规模实验和最小化的理论分析在隔离关注机制时可能特别有价值，而大型基准、复杂系统和精密理论在阐明、操作化或压力测试该思想时仍然重要。我们不反对基准或理论；我们主张将思想置于中心，以便强大的思想后来能产生信息丰富的基准和具有启发性的定理，而不在诞生之初就被它们定义。

#### 公平与简洁。

这一转变也将公平和简洁置于核心。当发表标准隐含地要求大型模型、复杂实现和详尽消融实验时，拥有大量计算和工程资源的科研人员将获得优势，而那些可以在适度环境中检验的简单而锐利的思想则难以被看到（Ahmed and Wahed, 2020 (https://arxiv.org/html/2605.15253#bib.bib80); Strubell et al., 2019 (https://arxiv.org/html/2605.15253#bib.bib81); Schwartz et al., 2020 (https://arxiv.org/html/2605.15253#bib.bib106)）。大型实验室可以将工作分配给多人，结合运行大规模实验的团队和推导精密理论结果的团队。这种能力确实可以带来令人印象深刻的贡献。但当同样的期望被用作把关标准时，问题就出现了：一个思想可能因为缺乏高度理想化设定中的强定理而被拒绝——该设定假设限制了其相关性；或者因为缺乏大型基准结果而被拒绝——而这些结果本身可能容易过拟合和设计伪影（Dehghani et al., 2021 (https://arxiv.org/html/2605.15253#bib.bib37); Bouthillier et al., 2021 (https://arxiv.org/html/2605.15253#bib.bib38)）。科学史和社会学表明，重大进展往往源于一连串小的、概念清晰的步骤，而非孤立的突破（Merton, 1973 (https://arxiv.org/html/2605.15253#bib.bib121); Kuhn, 1962 (https://arxiv.org/html/2605.15253#bib.bib122)）。一种因这些步骤未包裹在庞大系统或前沿基准中而将其过滤掉的文化，可能恰恰丢弃了未来理论和基准可以赖以构建的思想。

#### 文化变革。

我们的立场是呼吁回归假设驱动式探究，类似于物理学和生物学等实证科学中的方式。这种工作风格已构成许多最具洞察力的机器学习研究的基础（见第4节 (https://arxiv.org/html/2605.15253#S4)），但在贡献的构建、评估和奖励方式中却很少被凸显。我们认为，社区应使“思想优先”视角常态化，尤其是对初级研究者，并使审稿和发表规范与之对齐。这样做将有意地将激励从无意识地模仿大型工业实验室资源密集型优先级的现状，转向一种文化，其中清晰的思想、明确的特征和可访问的实验被视为核心科学贡献。

#### 目标。

本立场论文的目标有三：（i）我们提出一个框架，将*思想*与*预测特征*和针对现代神经系统的*定制实验*联系起来。（ii）我们建立一个论证，支持以思想为中心的评估，并将其与关于基准、理论、科学哲学和人工智能公平性的工作联系起来。（iii）我们提供该框架在实践中的具体例子，以及评估思想的实用概念。

#### 论文结构。

第2节 (https://arxiv.org/html/2605.15253#S2)介绍我们对基准驱动工程化和理想化理论的批判。第3节 (https://arxiv.org/html/2605.15253#S3)提出“思想优先”框架。第4节 (https://arxiv.org/html/2605.15253#S4)通过这一视角重新审视若干深度学习成果，第5节 (https://arxiv.org/html/2605.15253#S5)为作者和审稿人提供实用指导。第6节 (https://arxiv.org/html/2605.15253#S6)给出一个假设案例研究，说明完整工作流程。第7节 (https://arxiv.org/html/2605.15253#S7)阐述以思想为中心评估的更广泛论证及其影响。最后，我们在第8节 (https://arxiv.org/html/2605.15253#S8)中呈现其他观点。

参照图注图1：（顶部）当前实践常常分化为*基准驱动工程*（在大型系统上优化单一指标，通常掩盖机制）和*理想化理论*（在简化设定中严格证明，可能不迁移到现代模型）。（底部）我们提出的框架连接了这两个世界：一个*思想*产生一个具体的*特征*（一个可观察的行为承诺）。然后，一个*定制实验*被专门设计用于检测这一特征，优先考虑机制清晰性和可访问的实验设计，而非最先进的排行榜性能。

## 2 标准模式

在介绍我们的框架之前，我们简要描述两种组织当代神经模型大部分工作的标准模式。虽然我们承认研究方法论是多样化的，但我们认为，只要具有足够的灵活性，该领域的激励倾向于将绝大多数当前工作与这两种主导原型之一对齐。

### 模式A：基准驱动工程

这种模式通过扩展模型、调整训练配方、修改架构和数据来改进标准任务上的比较性能。核心产物是一个系统，连同排行榜上的透明比较和表明哪些选择影响了指标的消融研究。成功是在固定资源下或清楚报告的资源增加下获得更高的分数。证据单元是以受控消融支持的表现出的分数提升。这种模式的优点在于它映射了方法在不同任务和规模上的工作方式和程度。其局限性在于它对机制基本保持不可知，且除非与针对解释的分析相结合，否则可能混淆规模、数据和计算的影响。

#### 示例论文。

AlexNet (Krizhevsky et al., 2012 (https://arxiv.org/html/2605.15253#bib.bib20))、ResNet (He et al., 2016 (https://arxiv.org/html/2605.15253#bib.bib21)) 和 EfficientNet (Tan and Le, 2019 (https://arxiv.org/html/2605.15253#bib.bib22))；在多模态和语言方面，CLIP (Radford et al., 2021 (https://arxiv.org/html/2605.15253#bib.bib23))、GPT-3 (Brown et al., 2020 (https://arxiv.org/html/2605.15253#bib.bib24)) 和 Chinchilla (Hoffmann et al., 2022 (https://arxiv.org/html/2605.15253#bib.bib3))。

### 模式B：理想化理论

这种模式在风格化或渐近设定中推导可证明的陈述，例如宽度趋于无穷、步长无穷小或无噪声标签。核心产物是定理、界限和极限动力学，目标是在明确假设下的逻辑正确性。证据单元是形式化证明，有时伴随着简化设定中的模拟。这种模式的优点是概念精确性：它产生定义、约束和组织原则。其局限性在于，对于有限现代系统的可观察后果常常是隐含的，可测量的诊断通常不在范围之内，外部有效性在测试前仍然未知。

#### 示例论文。

谱归一化边缘界 (Bartlett et al., 2017 (https://arxiv.org/html/2605.15253#bib.bib25))、基于范数的容量和隐式正则化 (Neyshabur et al., 2015 (https://arxiv.org/html/2605.15253#bib.bib26))、深度线性网络中的精确学习动力学 (Saxe et al., 2014 (https://arxiv.org/html/2605.15253#bib.bib29)) 以及线性回归中的良性过拟合 (Bartlett et al., 2020 (https://arxiv.org/html/2605.15253#bib.bib30))。

#### 要点。

这些模式回答了不同的问题：*什么有效？*（基准）和*在特定假设下什么必须为真？*（理论）。我们在论文其余部分提出的建议是突出缺失的问题：*如果关于机制的某个想法是正确的，我们应该看到什么？*

### 2.1 可能出什么问题？

当孤立地追求这些模式时，可能导致具体问题（直接影响当前研究）或一般性问题（对研究社区有广泛影响）：

#### 基准短视（模式A）。

优化单一分数掩盖了机制，并且当多个变化以抵消方式影响指标时结论不确定。*后果：* 改进难以归因；负面或揭示机制的结果被低报。

#### 迁移鸿沟（模式B）。

在理想化极限中精心设计的定理很少为真实模型发布可观察的预测。*后果：* 理论为直觉提供信息，但不指导测量；实验无法证伪这些主张。

#### 非累积性发现（实证实践中）。

探索性消融和鲁棒性检查常常记录效应，但未将其锚定到假设或预计为惰性的对照组。*后果：* 结果不构成体系；后续研究难以重用或反驳先前的主张。

#### 复杂性溢价。

审稿常常将复杂性和规模视为深度的代理：大型模型、复杂的训练流程和深奥的理论被视为比隔离机制的简单基线和思想更严肃。*后果：* 激励偏向“更大更复杂”，而非“更清晰更真实”，并阻碍做出精确、可测试承诺的简单小型实验或证明。

#### 资源不对称性。

最先进（SOTA）激励——即实现或超越基准或任务上最佳报告性能的激励——不成比例地奖励计算和数据密集型结果。这使得检验思想成本高昂，除非它们与大规模实验或复杂系统捆绑在一起。大型实验室可以将工作分配给多人多机器；较小的团队则不能。*后果：* 发表偏向量大，对机制驱动测试的投资不足，对缺少大预算的实验室来说可重复性较弱，并且简单而锐利的思想停留在图纸上的可能性更高。

## 3 思想优先

现在我们已经介绍了神经模型研究的标准模式及其可能面临的问题，我们可以勾勒出当思想——而不仅仅是最终指标——承担主要工作时的研究面貌。在这种观点下，思想通过做出可观察的承诺（特征）来获得分量，这些承诺可以通过实验来寻找和压力测试。我们提出的框架可以概括为：

idea→signature→tailoredexperiment\.idea\\rightarrow signature\\rightarrow\{tailored\\ experiment\}.
我们将进步视为从*思想*到*实验*的链条，以*特征*作为连接。一个思想在它使某物*可见*时是有用的；一个实验在它*被构建来看那个东西*时是有用的。基准仍然是用于外部有效性和回归的宝贵工具，但*特征*，而非排名，是我们的解释和价值的单元。让我们详细阐述我们关于思想、特征和实验的三个相互关联的概念。

#### 什么是思想？

一个*思想*是一个关于系统*如何或为何*行为的有范围的主张，通常在一个*简化设定*（例如，单层、绑定权重、无限宽度、合成数据）中建立，其中分析或受控观察是可行的。该思想命名了机制或约束，说明了它预期适用以及可能失败的地方，并发布了*可观察的承诺*。其价值是概念性和预测性的，而非基准驱动的：它使某物足够精确，以至于我们以后可以超越玩具机制来寻找它。

#### 什么是特征？

一个*特征*是思想将如何在一个复杂/现代模型中*显现*的具体方式。它将思想的承诺转化为可测量的现象——几何、动力学、因果响应、不变性、阈值或特征性错误模式——这些现象在从简化设定迁移到现实架构、规模和数据时应该是可检测的（或许近似或在受限机制中）。一个好的特征指定了*在哪里*和*如何*寻找（层、训练阶段、扫描），以及*什么趋势或边界*是预期的。

#### 什么是定制实验？

一个*定制实验*是在复杂模型中进行的实证检验，其*设计用于观察该特征*。思想决定了读出、扰动、控制，以及可检测性最高的模型/数据空间区域。成功是清晰可见（或有原则地缺失）预测模式，而不是排行榜上的增量。具体来说：（i）将特征定义为某个统计量或模式；（翻译时需注意：原文在此段后截断，但根据上下文，应继续翻译。用户提供的文本只到"Concretely: \(i\) define the signature as a statistic/v"，后面被截断。但根据规则，我们需要翻译整个提供的文本。所以我们就翻译到此处。注意用户消息最后是"as a statistic/v"，这可能是未完成的句子。但作为翻译，我们忠实于提供的文本，翻译到该处为止。但为了自然，可能补全？规则要求仅翻译给定内容，不添加。所以按原样处理。不过，为了完整，我们按原文翻译。但注意原英文最后是"as a statistic/v"，可能是个笔误。我们按字面翻译：具体来说：（i）将特征定义为一个统计量/。但这样不完整。不过我们无需猜测，仅翻译提供的片段。所以保持原样。但中文需要通顺，我们可以翻译为“将特征定义为一个统计量/变量”？但原文没有variable。还是严格按原文。最好保持原样，用中文表示。一个*思想*是一个关于系统*如何或为何*行为的有范围的主张，通常在一个*简化设定*（例如，单层、绑定权重、无限宽度、合成数据）中建立，其中分析或受控观察是可行的。该思想命名了机制或约束，说明了它预期适用以及可能失败的地方，并发布了*可观察的承诺*。其价值是概念性和预测性的，而非基准驱动的：它使某物足够精确，以至于我们以后可以超越玩具机制来寻找它。

#### 什么是特征？

一个*特征*是思想将如何在一个复杂/现代模型中*显现*的具体方式。它将思想的承诺转化为可测量的现象——几何、动力学、因果响应、不变性、阈值或特征性错误模式——这些现象在从简化设定迁移到现实架构、规模和数据时应该是可检测的（或许近似或在受限机制中）。一个好的特征指定了*在哪里*和*如何*寻找（层、训练阶段、扫描），以及*什么趋势或边界*是预期的。

#### 什么是定制实验？

一个*定制实验*是在复杂模型中进行的实证检验，其*设计用于观察该特征*。思想决定了读出、扰动、控制，以及可检测性最高的模型/数据空间区域。成功是清晰可见（或有原则地缺失）预测模式，而不是排行榜上的增量。具体来说：（i）将特征定义为一个统计量/变量