智能体神经架构搜索

# 智能体神经架构搜索
来源：https://arxiv.org/html/2607.07984

###### 摘要

神经架构搜索（NAS）方法已日益高效，但它们仍然受限于需要大量领域专业知识且必须为每个新任务重新构建的人工设计搜索空间。大语言模型（LLM）可以在开放式空间中生成架构，但如何最优地分配LLM驱动的设计和NAS驱动的搜索之间的劳动仍未被探索。我们提出了一种连接这两种范式的机制：LLM首先生成一个高质量的种子架构，然后将其分解为一个*槽式架构*——一个带有命名、可互换模块槽的脚手架，自动为传统NAS定义一个有限的、特定于任务的搜索空间，无需人工工程。我们在此机制上实例化了AgentNAS，一个模块化的三阶段流水线，其中每个组件的贡献可以独立测量。在涵盖分类、密集回归、分割和多标签标注的17个任务（NAS-Bench-360和Unseen NAS）中，AgentNAS在11个任务上建立了新的最先进水平，超越了包括任务特定专家设计在内的已发表基线。消融研究表明，两种搜索机制在广泛意义上是互补的：LLM生成的种子已在大多数任务上超越了已发表的基线，而NAS在大多数情况下通过跨槽的组合重组（一种独立的LLM样本无法复现的搜索模式）带来了额外的收益。这些模式在三种不同能力水平的LLM中保持一致，证实了这种分工的稳健性。我们的代码可在https://github.com/alroimfebruary/AgentNAS获取。

神经架构搜索，代码生成，LLM智能体，算法发现，自动机器学习

## 1 引言

神经架构搜索旨在自动寻找神经架构，取代传统依赖人工手动设计的神经网络。关于权重共享方法（Liu等人，2019b (https://arxiv.org/html/2607.07984#bib.bib5)；Pham等人，2018 (https://arxiv.org/html/2607.07984#bib.bib6)）或进化算法（Real等人，2019 (https://arxiv.org/html/2607.07984#bib.bib12)）的研究使搜索算法日益高效。然而，每种方法仍然预设一个需要领域专业知识且必须为每个新任务重建的人工设计搜索空间（Elsken等人，2019 (https://arxiv.org/html/2607.07984#bib.bib46)；White等人，2023 (https://arxiv.org/html/2607.07984#bib.bib47)）。大语言模型已开始放宽这一限制：通过编码来自研究文献的广泛架构先验，它们可以在开放式空间中生成或变异网络代码，充当变异算子（Chen等人，2023 (https://arxiv.org/html/2607.07984#bib.bib34)；Morris等人，2024 (https://arxiv.org/html/2607.07984#bib.bib49)；Nasir等人，2024 (https://arxiv.org/html/2607.07984#bib.bib36)；Zhu等人，2025 (https://arxiv.org/html/2607.07984#bib.bib50)）、优化器（Zheng等人，2023 (https://arxiv.org/html/2607.07984#bib.bib35)；Yu等人，2023 (https://arxiv.org/html/2607.07984#bib.bib48)）和超参数调优器（Zhang等人，2023 (https://arxiv.org/html/2607.07984#bib.bib38)；Liu等人，2025 (https://arxiv.org/html/2607.07984#bib.bib39)）。然而，所有这些方法都将两个不同的角色混为一谈——*扩展*可能的架构空间和*探索*它——使得难以研究每种能力何时增加价值。这种混淆留下了两个基本问题未得到解答：*LLM能替代NAS吗？*以及*如果不能，LLM和NAS之间的最佳劳动分工是什么？*LLM可以从其学习到的先验中提出多样化的架构，但每个提出大致上是一个独立样本——它不会系统地探索多个设计选择如何相互作用。NAS恰恰擅长这种组合搜索，但它需要一个有限的空间进行搜索。这两种能力在原理上是互补的，但研究它们的相互作用需要一个框架，该框架(i)让LLM自己构建搜索空间，(ii)让传统NAS探索它，以及(iii)清晰地分离每个组件的贡献，以便可以独立测量。

我们提出了一种机制，恰好提供了这种分离：LLM首先生成一个高质量的种子架构，然后将其分解为一个*槽式架构*——一个带有命名、可互换模块槽的脚手架，自动为传统NAS定义一个有限的、特定于任务的搜索空间，无需人工工程。关键见解是，这种分解保留了LLM的宏观结构决策（深度、宽度进展、骨干网络类型），同时在模块级别暴露组合自由度，而这正是NAS最有效的领域。我们在此机制上实例化了AgentNAS，一个模块化的三阶段流水线，其关注点分离允许每个组件的贡献独立测量。在来自NAS-Bench-360（Tu等人，2022 (https://arxiv.org/html/2607.07984#bib.bib43)）和Unseen NAS（Geada等人，2024 (https://arxiv.org/html/2607.07984#bib.bib44)）的17个任务上——涵盖分类、密集回归、分割和多标签标注，跨越多种模态——AgentNAS在11个任务上建立了新的最先进水平，超越了包括任务特定专家设计在内的已发表基线。消融研究表明，两种搜索机制在广泛意义上是互补的：即使在LLM无法进一步改进的情况下，NAS在大多数情况下也在种子之上带来了额外的收益。

1. 1. 我们提出了AgentNAS，一种机制，其中LLM将种子架构分解为*槽式架构*，自动构建一个适合传统NAS的任务特定搜索空间，无需人工工程。
2. 2. 我们进行了一项关于LLM–NAS分工的实证研究，表明两种搜索机制在广泛意义上是互补的，并且NAS优于匹配预算的LLM采样。
3. 3. AgentNAS在17个多样化任务中的11个上取得了最先进的结果，包括一个盲测基准，其中LLM未接收任何领域元数据，必须仅从数据中发现有效的架构。

## 2 相关工作

### 2.1 神经架构搜索

神经架构搜索旨在自动化神经网络架构的设计，取代传统上依赖人类专业知识的试错过程。Zoph和Le (2017 (https://arxiv.org/html/2607.07984#bib.bib1))的开创性工作首次证明，使用强化学习训练的循环控制器可以发现与手工设计模型竞争的架构，尽管计算成本巨大。在这项工作之后，出现了两大研究轴线。第一种是权重共享方法（Bender等人，2018 (https://arxiv.org/html/2607.07984#bib.bib2), 2020 (https://arxiv.org/html/2607.07984#bib.bib3)；Cai等人，2019 (https://arxiv.org/html/2607.07984#bib.bib4)；Liu等人，2019b (https://arxiv.org/html/2607.07984#bib.bib5)；Pham等人，2018 (https://arxiv.org/html/2607.07984#bib.bib6)；Xu等人，2020 (https://arxiv.org/html/2607.07984#bib.bib7)），其中单个过参数化的超网络被训练一次，个体架构作为其子网络进行评估。第二种是进化方法（Cai等人，2020 (https://arxiv.org/html/2607.07984#bib.bib8)；Lu等人，2019 (https://arxiv.org/html/2607.07984#bib.bib10)；Real等人，2017 (https://arxiv.org/html/2607.07984#bib.bib11), 2019 (https://arxiv.org/html/2607.07984#bib.bib12)），通过基于种群的优化探索稀疏搜索空间。尽管这两种范式在机制上不同，但都在固定的、人工设计的搜索空间中运行——这一约束塑造了该领域的轨迹。

提供预计算架构元数据的表格基准的引入（Ying等人，2019 (https://arxiv.org/html/2607.07984#bib.bib31)；Dong和Yang，2020 (https://arxiv.org/html/2607.07984#bib.bib32)；Dong等人，2022 (https://arxiv.org/html/2607.07984#bib.bib33)）进一步强化了这种趋势：因为这些基准建立在基于卷积的ResNet（He等人，2016 (https://arxiv.org/html/2607.07984#bib.bib15)）风格搜索空间上，用于图像分类任务（Krizhevsky等人，2009 (https://arxiv.org/html/2607.07984#bib.bib51)；Deng等人，2009 (https://arxiv.org/html/2607.07984#bib.bib14)），大多数后续NAS研究都在相同的狭窄设置下进行评估。尽管如此，一些工作已经证明了NAS在此设置之外的适用性，针对Transformer（So等人，2019 (https://arxiv.org/html/2607.07984#bib.bib18)；Yang等人，2023 (https://arxiv.org/html/2607.07984#bib.bib13)；Li等人，2021a (https://arxiv.org/html/2607.07984#bib.bib16)）、图神经网络（Gao等人，2019 (https://arxiv.org/html/2607.07984#bib.bib19)；Li和King，2020 (https://arxiv.org/html/2607.07984#bib.bib20)；Zhou等人，2022 (https://arxiv.org/html/2607.07984#bib.bib21)）和生成对抗模型（Gong等人，2019 (https://arxiv.org/html/2607.07984#bib.bib22)；Gao等人，2020 (https://arxiv.org/html/2607.07984#bib.bib23)）。在这些所有努力中——无论它们在搜索策略、效率技术或目标领域上有所不同——一个共同的限制持续存在：搜索空间本身必须人工设计。多项研究表明，搜索空间的表达能力至少与搜索算法的选择同样重要（Geada等人，2020 (https://arxiv.org/html/2607.07984#bib.bib24)；Liu等人，2019a (https://arxiv.org/html/2607.07984#bib.bib25), 2018 (https://arxiv.org/html/2607.07984#bib.bib26)；Roberts等人，2021 (https://arxiv.org/html/2607.07984#bib.bib27)；Ru等人，2020 (https://arxiv.org/html/2607.07984#bib.bib28)），然而设计这样的空间仍然是一个需要大量领域专业知识的劳动密集型过程。Real等人（2020 (https://arxiv.org/html/2607.07984#bib.bib29)）尝试通过从最原始的操作组合架构来规避这个问题，但该方法需要惊人的计算量。基于上下文无关语法（CFG）的最新工作（Schrodi等人，2023 (https://arxiv.org/html/2607.07984#bib.bib17)；Ericsson等人，2024 (https://arxiv.org/html/2607.07984#bib.bib30)）提供了一种更原则性的方式来扩展搜索空间，但它们与经过充分研究的基于超网络的搜索策略不兼容，并最终将人工工程负担从架构设计转移到了语法设计。尽管有这些进展，搜索空间仍然是一个人工设计产物，限制了可发现架构的多样性，即使搜索算法在不断改进。

### 2.2 用于神经架构搜索的大语言模型

上述确定的限制——即搜索空间本身就是瓶颈——推动了一条根本不同的工作路线，该路线利用大语言模型进行架构设计。不是在预定义的空间内搜索，LLM可以直接生成或操作架构代码，开辟一个近乎无限的、代码级别的搜索空间。LLM在此背景下最常见的应用是作为进化框架中的代码级别变异和交叉算子（Chen等人，2023 (https://arxiv.org/html/2607.07984#bib.bib34)；Morris等人，2024 (https://arxiv.org/html/2607.07984#bib.bib49)；Nasir等人，2024 (https://arxiv.org/html/2607.07984#bib.bib36)；Zhu等人，2025 (https://arxiv.org/html/2607.07984#bib.bib50)），或作为从自然语言或代码级别规范生成候选网络的直接架构生成器（Yang等人，2025 (https://arxiv.org/html/2607.07984#bib.bib41)；Rahman和Chakraborty，2024 (https://arxiv.org/html/2607.07984#bib.bib42)）。除生成之外，LLM还被用作优化器（Zheng等人，2023 (https://arxiv.org/html/2607.07984#bib.bib35)；Yu等人，2023 (https://arxiv.org/html/2607.07984#bib.bib48)）、重排序器（Hu等人，2025 (https://arxiv.org/html/2607.07984#bib.bib37)）、原理提取器（Zhou等人，2025 (https://arxiv.org/html/2607.07984#bib.bib40)）和超参数调优器（Zhang等人，2023 (https://arxiv.org/html/2607.07984#bib.bib38)；Liu等人，2025 (https://arxiv.org/html/2607.07984#bib.bib39)）。

然而，仍然存在一个关键差距。虽然这些工作表明LLM可以在开放式搜索空间中运行，但它们主要将LLM用作搜索循环中的搜索算子或优化器。据我们所知，没有先前的工作使用LLM构建一个有限的、特定于任务的搜索空间，然后将其交给传统的NAS算法。因此，如何划分LLM驱动设计和NAS驱动搜索之间的劳动——以及在什么条件下每个组件增加价值——尚未得到实证研究。

### 2.3 自动化科学发现

更广泛地说，最近的工作已经证明，结合LLM、多智能体系统、程序化评估器和进化搜索可以发现新颖的算法（Romera-Paredes等人，2024 (https://arxiv.org/html/2607.07984#bib.bib52)；Novikov等人，2025 (https://arxiv.org/html/2607.07984#bib.bib54)；Press等人，2025 (https://arxiv.org/html/2607.07984#bib.bib87)）或自主进行科学研究（Lu等人，2024 (https://arxiv.org/html/2607.07984#bib.bib55)；Yamada等人，2025 (https://arxiv.org/html/2607.07984#bib.bib56)；Schmidgall和Moor，2025 (https://arxiv.org/html/2607.07984#bib.bib57)；Schmidgall等人，2025 (https://arxiv.org/html/2607.07984#bib.bib58)）。值得注意的是，这种范式已扩展到科学机器学习问题，例如发现PINNs配置和PDE代理模型（Wuwu等人，2025 (https://arxiv.org/html/2607.07984#bib.bib89)；Song等人，2026 (https://arxiv.org/html/2607.07984#bib.bib90)；Jiang和Karniadakis，2026 (https://arxiv.org/html/2607.07984#bib.bib88)），而并行工作通过基于状态空间模型的架构本身扩大了神经算子设计空间（Tiwari等人，2025 (https://arxiv.org/html/2607.07984#bib.bib91)；Song和Jiang，2026 (https://arxiv.org/html/2607.07984#bib.bib92), 2025 (https://arxiv.org/html/2607.07984#bib.bib93)）。这些努力共享自动化数学和科学计算的架构发现的更广泛目标，而AgentNAS针对通用NAS，自然可以扩展到这些领域，正如我们的Darcy Flow实验所示。

## 3 方法

参考说明图1：AgentNAS流水线。阶段1迭代地提示LLM提出、实现并训练候选架构，返回一个种子架构及其训练方案。给定更新的排行榜和自生成的对所提出架构的代理分数总结，LLM迭代地改进架构直到饱和。阶段2将种子架构分解为一个带有每槽备选项的槽式架构，定义一个特定于任务的搜索空间。阶段3用传统NAS探索此空间。每个方块代表一个槽；一个完整的序列指示一个候选架构。我们展示了槽式架构搜索空间上三种最标准NAS算法的示例。

AgentNAS是一个三阶段流水线，利用LLM的架构先验构建一个特定于任务的搜索空间，然后由传统NAS探索。受Ericsson等人（2024 (https://arxiv.org/html/2607.07984#bib.bib30)）观察的启发，即用人工设计的架构引导NAS是有益的，我们的流水线使用LLM生成一个强大的种子架构及其周围的搜索空间。一个概述