RiPPLE：基于早期训练的跨空间神经架构搜索性能预测

# 早期训练阶段的跨空间性能预测用于神经架构搜索
来源：https://arxiv.org/html/2609.12418
赵岩 王、郑 高、李 小雨、江 娇娇
隶属：新南威尔士大学、韩国科学技术院

###### 摘要
神经架构搜索（NAS）通过训练评估候选网络，而最可靠的方法是将其完全训练完成，这成本高昂，因此用这种方式评估整个搜索空间是不切实际的。两种更廉价的方法各有不足。零成本代理（ZCP）在初始化时对每个架构进行评分，但没有单一代理能跨空间通用，即使最强的代理与忠实排名之间仍存在较大差距。全监督预测器更为准确，但每个标签都对应一个采样架构的完全训练，而加入部分训练信号的方法将其视为每个候选的特征，因此成本随空间增长。我们的目标是以部分预算对整个空间进行良好排序。我们引入了 RiPPLE（通过前缀传播标签外推进行排序），它以廉价方式获取标签：训练一小部分覆盖锚点集至训练初期的前缀阶段，将每个学习曲线外推为代理标签，并将这些标签通过无标签特征进行传播。该信号始终是锚点的标签，而非每个候选的特征，且没有每个空间的设定需要读取保留精度，因此一个不变的流水线就能以部分预算对空间进行排名。在来自四个搜索空间族的十二个单元格上，RiPPLE 的排名接近神谕，在共同预算上限下匹配或超越预测器，并在 ZCP 失效时保持性能；作为选择器，其选择的架构与领先的搜索方法具有竞争力。

††\*这些作者对本工作贡献相同。通讯作者：杨一帆（[[email protected]](mailto:[email protected])）。

## 1 引言
图1：在 NAS-Bench-201/CIFAR-10 上，排名质量与报告训练预算的关系。图中显示了 RiPPLE 与 GP-WL [34]、GCN [9]、SemiNAS [28] 以及外部参考 FlowerFormer [16] 的对比。FlowerFormer 报告的标签预算和独立测试协议未与 RiPPLE 的 FTE 计算方式统一。曲线为描述性对比，并非严格匹配评估集和总成本的演示。神经架构搜索（NAS）通过训练评估候选网络，而训练成本高昂，因此搜索过程中的大部分成本都花在了后来被舍弃的架构上 [37]。性能预测器通过学习从少量测量中对架构进行排序来降低此成本，理想的预测器应在仅训练一小部分空间的情况下对整个空间进行排序 [36]。两种常见的预测器设计处于这种权衡的两端。零成本代理（ZCP）通过一次未训练的前向传播对整个空间进行免费排序，但它们与真实性能的一致性上限在斯皮尔曼相关系数 0.9 左右，并且跨空间时急剧下降 [1]。全监督预测器能达到更高的一致性 [9, 29, 44]，但它们的每个训练标签都是一次完整的训练，而像 OMNI 这样的方法将部分训练信号保留为特征 [36]，因此对新架构进行评分需要训练它，成本随着被评架构数量的增加而增长。曲线外推和多保真度方法具有相同的特性，它们返回的是早停决策或单个配置，而非排名。在部分训练预算下准确地对整个空间进行排名仍然具有挑战性：足够便宜以达到该目标的代理很弱，而监督预测器为每个标签支付完整训练的成本。我们的关键观察是：部分训练信号不必是特征。特征必须对于预测器评分的每个架构都可用，而标签仅需用于它训练的少数几个架构。如果信号作为标签输入，训练成本就局限于一小部分锚点，空间的其余部分则通过计算成本为零的特征进行排名。这将随锚点缩放的训练预算与覆盖整个空间的排名范围解耦。信号输入位置的选择并非个人偏好问题；这是一个预测器排名几千个候选与另一个排名几亿候选之间的区别。我们将这一观察融入 RiPPLE，这是一种在部分训练预算下对整个搜索空间进行排名的预测器。RiPPLE 通过覆盖度一次性选择几百个锚点，将每个锚点训练至其训练计划的短前缀阶段，将由此产生的曲线外推为代理标签，并通过基于无标签特征的回归器将这些标签传播到整个空间。这些特征是一组零成本代理和一个架构编码，两者无需训练任何候选即可计算，因此唯一的训练成本是花费在锚点上的短前缀阶段。三个可能针对基准进行调整的组件中，没有一个读取标签：代理集和编码都接受某个空间可用的所有候选，并让传播器降低不具信息性的候选的权重；曲线读取器遵循一个根据训练计划形状预设的固定规则。因此，RiPPLE 没有针对每个基准的超参数搜索，并且可以原封不动地迁移到新空间。在大约 150 个完整训练等效预算的上限下，一个不变的 RiPPLE 流水线在所有覆盖四个搜索空间族的十二个单元格上，将整个空间排名至接近神谕的位置，而在此处没有任何零成本代理能够保持效果，且在图像单元格上表现良好的图或序列预测器无法应用于尺寸、循环和迁移空间。在 NAS-Bench-201 上，它在首次测试点 127 个等效预算处达到了 0.85 的 Kendall τ（表2）；已发布的预测器结果提供了特定协议的参考点，而非受控的标签成本比。作为选择器，其排名最高的网络在 CIFAR-10 上距离最优解 0.08，在 CIFAR-100 上距离最优解 0.26，并且在包含约 10^{18} 个架构的 DARTS 空间上与经过训练的搜索方法相比具有竞争力。我们的贡献如下：
- • 我们提出了 RiPPLE，这是一种预测器，它将部分训练信号作为标签用于少数覆盖锚点，而非作为每个候选的特征，从而在部分训练预算下对整个搜索空间进行排名。
- • 我们展示了一个不变的流水线在来自四个搜索空间族的十二个单元格上排名接近神谕，而在这些空间中没有任何零成本代理有效，也没有图或序列预测器适用。
- • 我们证明了 RiPPLE 以监督预测器标签的一小部分匹配其性能，同时选择接近最优的架构。

图2：RiPPLE 以部分预算对整个空间 \(\mathcal{A}\) 进行排名。仅对覆盖锚点集 \(\mathcal{S}\) 中的 \(n\) 个锚点进行训练，每个锚点训练至一个短前缀以获得学习曲线 \(\ell_a\)，读取器 \(r\) 将其转换为外推标签 \(\widehat{y}_a\)。一个传播器 \(g\) 被训练来从无标签特征 \(\mathbf{x}=[\mathbf{z};\bm{\phi}]\)（一个零成本代理库 \(\mathbf{z}\) 和为每个架构计算的架构编码 \(\bm{\phi}\)）预测这些锚点标签；然后它对整个空间进行评分，\(s(a)=g(\mathbf{x}(a))\)，空间 \(\mathcal{A}\) 根据 \(s\) 进行排序。因此，部分训练信号是作为锚点标签输入，而非每个候选的特征，所以训练成本随锚点缩放，而排名范围覆盖整个 \(\mathcal{A}\)。

## 2 相关工作
神经架构搜索从预定义的空间中选择架构，其搜索策略分为三类：在超网络中共享权重的单次训练方法 [32, 15]、放松离散选择的可微方法 [23]，以及从评估样本中学习对架构进行排序的基于预测器的方法 [37]。前两类方法返回单个架构，而预测器对整个空间进行排名。RiPPLE 是一种预测器，因此我们回顾排序器可以使用的低成本信号以及每种信号将信号置于何处。
**零成本代理。**零成本代理通过初始化时的单次前向传播对架构进行评分 [1]，后续工作对其进行了强化或组合，如 ZiCo [21]、AZ-NAS [20] 和 L-SWAG [4]。它们与真实精度的一致性在 NAS-Bench-201 上保持在斯皮尔曼相关系数 0.9 左右的上限，并且跨空间时无法迁移 [19, 31]。由于代理在任何训练之前就被读取，它是付费排序器必须超越的参考前沿，而非等预算的竞争者，并且预训练预测器以复现代理排名的方法免费继承了该质量。RiPPLE 将一组此类代理仅作为输入特征使用，并单独报告仅代理的前沿。
**学习的性能预测器。**监督预测器从完全训练的样本中拟合架构到精度的映射 [36]。BRP-NAS [9] 使用图卷积网络进行预测，NAS-BOWL [34] 使用带有 Weisfeiler-Leman 图核的高斯过程进行拟合，SemiNAS [28] 通过在无标签架构上自训练来训练 LSTM 编码器。在 150 个完整训练等效预算的共同上限下，RiPPLE-prefix 在十二个单元格中的十一个上排名高于这些基线。与这些全监督预测器不同，RiPPLE-prefix 不将架构训练至完成：它的标签是从早停前缀外推的代理精度，因此每个标签的成本只是完整训练的一部分。另一条线为 Transformer 编码架构：TNASP [24] 在操作嵌入上添加了拉普拉斯矩阵，NAR-Former [44] 对操作和连接进行分词，NAR-Former V2 [43] 添加了图辅助块，NN-Former [40] 添加了兄弟注意力，FlowerFormer [16] 沿着数据流传递消息。这些编码器很准确但标签需求量大：最强的在 NAS-Bench-201 上仅在几百个标签后达到 0.85 的 Kendall τ，一些从未达到，且所有架构都在包含其训练池的整个基准上进行评估，除了使用独立测试集的 FlowerFormer 等研究。它们宣传的训练预算也忽略了用于早停和调优的数十到数百个完全训练架构的验证集，在最小设置下，这本身就超过了计入的训练预算，而 RiPPLE 不读取保留精度，也无需这样的集合。它们还在单元格结构的图像基准上开发，没有为尺寸或循环空间定义编码。门控预测器如 GATES [29] 及其训练类似扩展 TA-GATES [30] 原生报告 Kendall τ，但共享此标签成本。在特征增强预测器中，OMNI [36] 用学习曲线统计量增强编码，但将该统计量保留为每个候选的特征，因此对候选进行评分需要对其进行部分训练，成本随候选数量缩放，其作者报告称这是在大空间上的障碍。RiPPLE 读取相同的曲线，但将其作为少数覆盖锚点的标签，因此其训练成本固定，而排名范围覆盖数亿个架构。
**曲线外推和多保真度搜索。**另一条线读取部分学习曲线以提前停止或引导搜索。Domhan 等人 [5] 外推参数化曲线；Hyperband 和 BOHB 通过连续二分法在配置之间分配预算 [22, 10]；LC-PFN 在冻结-解冻循环内对配置进行评分 [2]；MPENAS [39] 将编码、代理和曲线融合为跨保真度适应度。所有这些方法都对其评分的每个候选进行部分训练，并返回一个存活配置而非排名。权重共享超网络以一次训练成本产生整个空间的信号，但架构排名能力较弱 [32, 23, 15, 25]，并且绑定到单个预定义空间。RiPPLE 则相反，将其预算用于对固定锚点集进行前缀训练，并一次性传播到整个空间，返回整个空间的排名而非单个存活配置，并且在拓扑、尺寸和序列空间上保持不变。CoRA-NAS [42] 也使用小锚点集上的早期学习曲线来细化整个空间的排名，而无需完全训练的精度标签。它结合了粗略的零成本排序先验和从分层锚点学习的残差校正。RiPPLE 则直接传播从编码空间覆盖锚点外推的前缀代理标签，将零成本代理作为输入特征而非单独校正的排序先验使用。

## 3 方法
RiPPLE 通过四个阶段在部分训练预算下对整个搜索空间进行排名，如图2所示。它为每个架构计算无标签描述符，通过覆盖度选择一个小锚点集，仅将锚点训练至短前缀并将其曲线读取为外推标签，以及拟合一个将这些标签传播到整个空间的传播器。第 3.1 节固定了符号和成本模型，第 3.2 节详细说明了这四个阶段。

### 3.1 问题设置与符号
我们研究基于预测器的 NAS。搜索空间 \(\mathcal{A}\) 包含 \(N = |\mathcal{A}|\) 个候选架构，\(y: \mathcal{A} \to \mathbb{R}\) 是架构在完全训练后的真实性能 [36]，设定为越高越好（例如精度），因此标准搜索寻找 \(a^{\star} = \argmax_{a \in \mathcal{A}} y(a)\)。评估 \(y\) 需要从头训练网络，因此我们构建一个分数 \(s: \mathcal{A} \to \mathbb{R}\) 来替代，其诱导...