通过自动化流水线搜索系统探索4-Expert异构Mixture-of-Experts

# 基于自动化流水线搜索的4专家异构混合专家模型系统性探索
来源: https://arxiv.org/html/2606.23739
Yashkumar R Lukhi, Harsh Rameshbhai Moradiya, Radu Timofte, Dmitry Ignatov 计算机视觉实验室, CAIDAS & IFI, 维尔茨堡大学, 德国 通讯作者: \{yashkumar\-rajeshbhai\.lukhi,harsh\-rameshbhai\.moradiya\}@stud\-mail\.uni\-wuerzburg\.de

###### 摘要

我们提出了一种针对LEMUR神经网络数据集生态系统内异构4专家混合专家模型(MoE4)架构的自动化大规模搜索流水线。基于手工制作的异构MoE参考模型，我们将手动设计替换为确定性代码组装生成器，该生成器系统地将来自LEMUR数据库的基础架构系列组合成MoE4集成模型，每个集成模型由一个带温度缩放的卷积门控网络、mixup数据增强和余弦退火学习率调度控制。在NVIDIA RTX 4090上进行的28天运行中，该流水线在197个批次中生成了4,463个候选模型，其中1,021个成功完成评估。此次运行中涌现出一个关键发现：由于通过`itertools.combinations`进行字母序枚举，整个已探索的搜索空间（占理论可能的23,751种4系列组合的4.8%）完全锚定在单个系列AirNet上。我们精确刻画了这一覆盖偏差，识别出生成器中的根本原因，并提出了分层随机抽样的修复方案。在AirNet锚定范围内，ShuffleNet和MobileNetV3始终共同产生最高精度的集成模型（平均精度高达0.632），而FractalNet和MNASNet被识别为低收益系列，建议在未来的运行中排除。该流水线、分析产物以及修正后的生成器已作为NNGPT开源项目的一部分发布，地址为 https://github.com/ABrain-One/nn-gpt。

## 1 引言

混合专家模型架构在DeepSeek-V2[5 (https://arxiv.org/html/2606.23739#bib.bib21)]等大规模模型取得成功后重新获得关注，该模型证明了稀疏专家激活可以在大幅降低每个token计算量的情况下匹配或超越稠密模型性能。在视觉领域，卷积和基于transformer的MoE设计中均观察到了类似优势[23 (https://arxiv.org/html/2606.23739#bib.bib26),27 (https://arxiv.org/html/2606.23739#bib.bib25)]，这表明将输入路由到结构多样化的专家网络能够提供单个骨干网络无法捕获的互补归纳偏置。

LEMUR神经网络数据集[8 (https://arxiv.org/html/2606.23739#bib.bib5),26 (https://arxiv.org/html/2606.23739#bib.bib6)]提供了经过训练的神经网络模型的结构化集合，用于基准测试、AutoML研究和基于LLM的架构生成[15 (https://arxiv.org/html/2606.23739#bib.bib4),16 (https://arxiv.org/html/2606.23739#bib.bib1)]。虽然LEMUR内的前期工作已手动设计并评估了少量MoE配置[20 (https://arxiv.org/html/2606.23739#bib.bib2)]，但跨LEMUR 29个基础架构系列的异构专家组合空间在组合上非常庞大——(294)=23,751\binom{29}{4}=23,751 种可能的4系列四元组——无法仅通过手工设计进行探索。

本文通过一个**全自动MoE4搜索流水线**来填补这一空白，该流水线基于三项贡献构建。

1. **确定性代码组装生成器**。`AlterHeteroMoE4.py` 程序性地将来自LEMUR数据库的任何四个基础模型系列组合成一个语法有效且经过前向传播验证的MoE4模型，复用参考模型[15 (https://arxiv.org/html/2606.23739#bib.bib4)]中的 `HeterogeneousGate` 设计、mixup增强和余弦退火AdamW训练，且在生成循环中无需任何LLM调用。
2. **多阶段验证流水线**。每个候选模型在GPU评估前需依次通过三个门控：(i) Python `compile()` 语法检查，(ii) 在实际训练分辨率 (256×256256×256) 上的CPU前向传播探测，(iii) 通过MD5校验和进行数据库去重。该流水线大幅减少了浪费的GPU评估，并防止破损或重复模型进入LEMUR数据库。
3. **具备容错能力的运行自动化**。`CampaignMoE4.py` 协调重复的生成-评估循环，支持持久化JSON状态、每个批次隔离以及SSH安全的恢复语义，实现了针对1,000个成功模型评估的28天无人值守运行。

除了工程贡献外，此次运行还产生了一个**值得注意的科学发现**：通过排序后的 `itertools.combinations` 进行确定性枚举导致了整个已探索搜索空间锚定在按字母序排序的第一个系列——AirNet上，仅覆盖了完整组合空间的4.8%，且没有任何非AirNet组合。我们刻画了这一覆盖偏差，精确识别其根本原因，并提出了一种分层随机抽样策略以在未来的运行中消除该偏差。这一发现对于任何使用基于吞吐量的停止条件进行排序确定性枚举的大规模神经架构搜索运行具有广泛的相关性。

在AirNet锚定范围内，我们基于1,021个成功模型进行了**系列级准确率分析**，识别出ShuffleNet和MobileNetV3为高产专家系列（平均准确率分别为0.632和0.621），而FractalNet和MNASNet则是持续降低集成质量或因超出可用GPU内存而无法训练的系列。最佳单模型——AirNet + AlexNet + DPN68 + ResNet——在CIFAR-10上经过单个训练周期即达到**68.0%**的Top-1准确率，表明无需任何手动调优，自动化组装异构专家即可产生有竞争力的候选模型。

基于将LLM应用于神经架构任务的日益增多的工作[15 (https://arxiv.org/html/2606.23739#bib.bib4),13 (https://arxiv.org/html/2606.23739#bib.bib11)]以及NNGPT框架内积累的架构合成经验[11 (https://arxiv.org/html/2606.23739#bib.bib3),7 (https://arxiv.org/html/2606.23739#bib.bib14),20 (https://arxiv.org/html/2606.23739#bib.bib2),24 (https://arxiv.org/html/2606.23739#bib.bib7),14 (https://arxiv.org/html/2606.23739#bib.bib8),25 (https://arxiv.org/html/2606.23739#bib.bib15),10 (https://arxiv.org/html/2606.23739#bib.bib16),3 (https://arxiv.org/html/2606.23739#bib.bib19),2 (https://arxiv.org/html/2606.23739#bib.bib20)]，我们在NNGPT框架[16 (https://arxiv.org/html/2606.23739#bib.bib1)]之上构建了MoE4搜索流水线，利用LEMUR数据集中多样化的高容量和边缘优化模型系列[8 (https://arxiv.org/html/2606.23739#bib.bib5),26 (https://arxiv.org/html/2606.23739#bib.bib6),6 (https://arxiv.org/html/2606.23739#bib.bib9),17 (https://arxiv.org/html/2606.23739#bib.bib17),12 (https://arxiv.org/html/2606.23739#bib.bib18)]作为专家池。

本文其余部分组织如下：第2节 (https://arxiv.org/html/2606.23739#S2) 回顾MoE架构和神经架构搜索的相关工作。第3节 (https://arxiv.org/html/2606.23739#S3) 描述流水线设计和实现。第4节 (https://arxiv.org/html/2606.23739#S4) 介绍实验设置和运行统计。第5节 (https://arxiv.org/html/2606.23739#S5) 报告准确率结果和系列级分析。第6节 (https://arxiv.org/html/2606.23739#S6) 总结经验教训并展望未来工作方向。

## 2 相关工作

### 2.1 视觉领域的MoE架构

混合专家模型通过学习得到的门控机制将输入路由到专门的专家网络子集，实现条件计算，在推理成本不按比例增加的情况下提升模型容量。早期基于CNN的MoE工作表明，将输入路由到结构不同的专家分支可改善分类性能[4 (https://arxiv.org/html/2606.23739#bib.bib22),9 (https://arxiv.org/html/2606.23739#bib.bib23)]。层级的MoE变体如CondConv[28 (https://arxiv.org/html/2606.23739#bib.bib24)]根据输入数据条件化卷积滤波器，而DeepMoE[27 (https://arxiv.org/html/2606.23739#bib.bib25)]将稀疏激活的专家层集成到ResNet模块中，在CIFAR-100上无需额外计算即可获得3-4%的提升。在视觉Transformer中，V-MoE[23 (https://arxiv.org/html/2606.23739#bib.bib26)]将稀疏专家选择应用于Transformer MLP模块，并在ImageNet上以相当的成本优于稠密ViT。软MoE公式[21 (https://arxiv.org/html/2606.23739#bib.bib29)]通过可微分的token到专家分配简化了训练。异构MoE设计——即专家在架构上而非仅仅权重上不同——仍鲜有探索。Abbas和Andreopoulos[1 (https://arxiv.org/html/2606.23739#bib.bib30)]在资源约束下使用不同复杂度的专家进行自适应推理，Ahmed等人[4 (https://arxiv.org/html/2606.23739#bib.bib22)]在MoE设置中结合了不同的CNN系列，证明了专家间架构多样性的可行性。我们的工作进一步扩展了这一方向，通过系统性大规模组装来自29个不同基础架构系列的异构4专家MoE模型。

### 2.2 神经架构搜索

神经架构搜索自动化了高性能网络设计的发现，传统上通过强化学习[29 (https://arxiv.org/html/2606.23739#bib.bib31)]、进化算法[22 (https://arxiv.org/html/2606.23739#bib.bib32)]或可微分搜索[19 (https://arxiv.org/html/2606.23739#bib.bib33)]。暴力搜索和随机搜索策略在受限搜索空间中被证明是具有竞争力的基线[18 (https://arxiv.org/html/2606.23739#bib.bib34)]，尤其是在单个候选评估成本低廉的情况下。我们的运行采用了一种确定性的组合枚举策略，类似于暴力NAS，搜索空间为所有 (294)=23,751\binom{29}{4}=23,751 种4专家组合，停止条件是基于吞吐量的目标而非性能阈值。我们工作的一个关键发现——排序枚举会导致严重的覆盖偏差——与任何使用确定性迭代和早期停止条件的NAS运行直接相关。

### 2.3 自动化模型生成与数据集生态系统

LEMUR神经网络数据集[8 (https://arxiv.org/html/2606.23739#bib.bib5),26 (https://arxiv.org/html/2606.23739#bib.bib6)]为基准测试和AutoML研究提供了经过训练的模型精选集合，具备标准化的训练、评估和数据库集成接口。nn-gpt项目[16 (https://arxiv.org/html/2606.23739#bib.bib1)]通过LLM驱动的架构生成扩展了LEMUR，将该数据集既作为专家构建模块的来源，也作为新发现模型的目标存储库。nn-gpt的前期工作使用基于LLM的生成进行2专家MoE组装，但仅取得有限成功（0/36次尝试），随后转向确定性代码组装[20 (https://arxiv.org/html/2606.23739#bib.bib2)]。我们的流水线继承了这种确定性组装方法，将其扩展到4专家配置，并增加了先前nn-gpt生成器中所缺失的多阶段验证层和运行自动化。

## 3 方法

### 3.1 概述

MoE4流水线包括四个连续阶段：(i) 从LEMUR数据库构建专家池，(ii) 候选MoE4模型的确定性代码组装，(iii) GPU评估前的多阶段验证，以及(iv) 可容错长时间运行的运行自动化。所有模型共享一个共同的架构模板，该模板源自手工制作的参考模型 `MoE-hetero4-Alex-Dense-Air-Bag`，该模型确立了贯穿本文工作的门控设计和训练配置。

### 3.2 专家池构建

在运行时，`AlterHeteroMoE4.py` 通过 `ab.nn.api.data()` 查询LEMUR数据库，检索所有基于CIFAR-10图像分类训练的基础架构模型。对模型进行过滤，仅保留已确立的基础架构：排除UUID变体模型（由十六进制后缀标识的LLM生成突变模型）、MoE系列模型（避免循环组合）以及小写前缀的生成模型（`ga-*`, `ga-mut-*`）。由此得到29个基础架构系列，包括AlexNet、AirNet、ResNet、ShuffleNet、MobileNetV3、DenseNet、FractalNet等。该池上的组合空间为 (294)=23,751\binom{29}{4}=23,751 种可能的4系列四元组。

### 3.3 代码组装

对于每个4系列组合 (F1,F2,F3,F4)(F_1,F_2,F_3,F_4)，生成器通过以下步骤组装一个完整、自包含的PyTorch模型文件：(i) 从数据库检索每个专家的源代码，并通过 `transform_expert()` 进行转换，该函数将 `class Net` 重命名为 `class {Family}Expert`，去除import语句和 `supported_hyperparameters()`，并对带连字符的系列名称进行名称清理（例如 `InceptionV3-1` → `InceptionV3_1Expert`）；(ii) 合并并去重所有四个专家的导入语句；(iii) 收集所有专家中的 `prm['key']` 引用，以构建动态的 `supported_hyperparameters()` 函数；(iv) 使用四个专家类名和超参数默认值实例化 `_MOE4_WRAPPER` 模板。

包装器模板实现了 `HeterogeneousGate` 门控网络（Conv–BN–ReLU–Conv–BN–ReLU–AvgPool–Linear–ReLU–Dropout–Linear），带有一个被限制在 [0.5,5.0][0.5,5.0] 之间的学习温度参数，并在训练时对门控logits添加高斯噪声。专家输出按如下方式组合：

y=∑i=14gi(x)⋅fi(x),y=\sum_{i=1}^{4} g_i(x) \cdot f_i(x), (1)

其中 gi(x)g_i(x) 是经过温度缩放的softmax门控权重，fi(x)f_i(x) 是每个专家的输出logits。训练使用AdamW优化器，专家和门控采用不同的学习率，mixup数据增强（α=0.2\alpha=0.2），标签平滑（ε=0.1\epsilon=0.1），梯度裁剪（max-norm=1.0=1.0），线性预热5个周期，以及Tmax=50T_{\max}=50 的余弦退火。

### 3.4 多阶段验证

每个组装的模型在写入磁盘并提交GPU评估前需依次通过三个门控：

(1) **语法检查**。Python内置的 `compile()` 验证语法正确性。此步骤快速（<<1 ms），可捕获导入错误或组装错误。

(2) **CPU前向传播探测**。在CPU上实例化模型，并传入形状为 (2,3,256,256)(2,3,256,256) 的虚拟批次——匹配默认的 `norm_256_flip` 评估变换。断言输出形状为 (2,10)(2,10)。此步骤每个模型耗时50-500毫秒，能捕获 `compile()` 无法检测到的依赖分辨率维度不匹配问题（例如大核专家中的空间塌缩）。探测分辨率特意匹配训练分辨率，因为之前的失配导致最初5个模型中有3个在通过32×32探测后仍在GPU评估时失败。

(3) **数据库去重**。通过 `uuid4()` 计算去除空格后的源代码的MD5校验和，并与LEMUR数据库中所有现有条目进行比对。重复模型被静默跳过，防止浪费GPU评估以及因重复运行导致数据库损坏。

### 3.5 运行自动化

`CampaignMoE4.py` 协调完整的生成-评估循环，目标是在一块NVIDIA RTX 4090上完成约1,000次成功的模型评估。