解构进化式混合LoRA架构：路由杠杆、生命周期惩罚与基底条件边界

# 路由杠杆、生命周期惩罚与基底条件边界源

## 解构进化型混合 LoRA 架构：路由杠杆、生命周期惩罚与基底条件边界

###### 摘要

我们将一个基于从头训练的约 1.5 亿参数加宽 DD 基底（$D=1536, V=32000; D/V \approx 0.048$；我们称其为“widened-1536”基底）上的进化型混合 LoRA 系统分解为三个因子——路由重写（带有可学习每适配器下限和有界温度退火的并行 Sigmoid 门控，输入为堆叠后隐藏状态而非 Token 嵌入均值）、每个领域的留一法评估范围，以及包含死亡、$\alpha$-混合继承、SVD 突变和槽位重新分配的生命周期——并在 $n=3$ 个随机种子下、每个单元格进行 25,000 次适配步长，报告了 5-of-8 部分 $2^3$ 析因实验的结果。在此基底上，归因链条清晰明确：路由重写因子承载了整个 $+0.0426$ nat 的平衡对数困惑度（log-PPL）提升（依据惯例 $\Delta = \log \mathrm{PPL}_{\mathrm{ref}} - \log \mathrm{PPL}_{\mathrm{test}}$，正值表示改进；$t=12.86, p=0.006$），这一提升在我们内部数据中归因于“完整进化系统相对于静态 B3 基线”；而标题性的全系统对比 B3 的平衡对照本身仅为 $+0.015$ nats，$t=1.94, p=0.19$（在 $n=3$ 时），并未通过 $\alpha=0.05$ 显著性检验。在种子分辨率下，每领域评估范围为零效应，而生命周期则带来约 $-0.028$ nats 的净拖累（主要归因链中 $t=-4.46, p=0.047$）。在 $n=3$ 种子下进行的辅助 $\alpha=0$ 继承反事实实验在头条指标上符号不一致，且统计效力不足，无法得出等价或承载负载的结论（本论文早期草稿声称该反事实排除了继承作为生命周期惩罚的承载源；该主张依赖于算术平均聚合器，当修正为固定的几何平均后，种子 42 的单元格翻转为负载承载范围，且跨种子均值留在模糊带内，见附录 B.11）。基础扰动探测方向性地反驳了将生命周期角色重构为“基因组背景”的观点。可控合成沙盒定位了一个基底条件的制度边界：仅当适配器预对齐到任务时，路由通道上的进化搜索才具有负载承载能力；在测试的每种其他制度中，它表现不佳、持平或主动恶化梯度解。

## 1 引言

大型语言模型现代参数高效适配通常将许多低秩适配器层叠在冻结主干之上，通常由稀疏的混合专家路由门控选择每个输入 Token 的适配器子集（Hu et al., 2021; Li et al., 2024）。一个自然的进一步步骤是使适配器群体本身变得*进化*：适配器根据适应度信号竞争，最差的适配器死亡，空出的槽位由最适个体的突变克隆重新填充，并且在释放槽位前，将死亡适配器权重的一部分混合到最近邻中。这种“进化型混合 LoRA”设计背后的假设——即生命周期动态（选择、繁殖、继承、突变）比静态分配产生组织更好的适配器群体——通过与神经进化和基于群体的训练类比是合理的（Stanley et al., 2019; Jaderberg et al., 2017），但关于此类比是否适用于文本领域混合 LoRA 训练的实证记录一直很少。

本文提供了在单一特定基底上的实证记录，并报告了一个比单纯获胜或单纯无效更细微的结果。

#### 一句话贡献。
在将进化型混合 LoRA 系统分解为三个因子的 5-of-8 部分 $2^3$ 析因实验中，*路由重写*因子承载了相对于静态基线的全部平衡困惑度提升，*生命周期*因子是净拖累，*评估范围*因子在种子分辨率下为零效应；贡献分解为路由杠杆、生命周期惩罚和我们首先在合成沙盒上表征、然后在生产运行中验证的基底条件制度边界。

#### 是什么。
我们报告了三个具体主张，每个主张都基于三个种子的配对统计检验支持：

- **路由杠杆**。用带有可学习每适配器下限和有界温度退火的并行 Sigmoid 路由器替换基于 Softmax-over-adapters 的路由器（该路由器在此 widened-1536 基底上坍塌为单一的 4-of-16 跨领域适配器联盟；每领域 top-$k$ 门控分布之间的 Jensen-Shannon 散度恰好为 0），并输入堆叠后隐藏状态而非 Token 嵌入均值，解释了归因于“完整进化系统相对于静态 B3 基线”的全部 $+0.0426$ nat 平衡对数困惑度提升（$t=12.86, p=0.006$）（第 5 节）。
- **生命周期惩罚**。在重写的路由器之上叠加死亡、$\alpha$-混合继承、SVD 突变和槽位重新分配，在平衡对数困惑度上成本约为 $0.028$ nats（主要归因链中 $t=-4.46, p=0.047$；一致性链中 $t=-3.47, p=0.074$）。在 $n=3$ 种子下进行的辅助 $\alpha=0$ 继承反事实实验在头条指标上符号不一致（种子 42 为 $+3.18\%$，种子 137 为 $-1.65\%$，种子 256 为 $+0.20\%$，均值 $+0.56\%$），统计效力不足，无法就继承子组件得出承载负载或等价的结论（早期草稿声称在算术平均聚合器下该反事实排除了继承；该主张已撤回，见附录 B.11）。基础扰动探测方向性地反驳了将生命周期角色重构为“基因组背景”的观点（第 7 节）。
- **基底条件制度边界**。在已知真相的可控合成沙盒中，路由通道上的进化搜索*仅*在适配器预对齐到任务时才具有负载承载能力；在测试的每种其他制度中（联合随机初始化、梯度预热初始化、混合 ES-then-SGD），进化搜索表现不佳、持平或主动恶化梯度解（第 4 节）。生产基底结果与此边界一致。

#### 为什么（证据）。
分解不是回顾性的。我们预先指定了关于三个因子的 5-of-8 部分 $2^3$ 析因实验——F1 路由重写，F2 每领域 LOO 评估范围，F3 生命周期动态——并在 widened-1536 从头训练基底上对每个单元格运行 $n=3$ 个种子，每个 25,000 训练步（核心析因实验中 15 个生产运行；Fork 0 种子扫描中 4 个额外运行）。本文中的数值主张追溯至 `experiments/trackb_b2/analysis/` 中的真实来源分析 JSON 文件；每个单元格的运行标识符、每个种子的困惑度以及从这些 JSON 文件重新推导头条统计量的过程均在附录 A 和附录 D 中复现。

#### 所以呢（意义）。
最重要的发现不是生命周期动态失败，而是*它们以特定的、可表征的方式失败*：该系统在此基底上的平衡聚合胜利由结构性路由修复承载，而叠加在该修复之上的进化机制与路由修复解锁的梯度解轻微错配。这比“生命周期没有帮助”的陈述更尖锐；它是关于*何时、在什么基底上、针对什么梯度信号*特定进化设计可能做出贡献的陈述。第 4 节的合成沙盒结果为进化策略（ES）贡献提供了一个候选充分条件（携带信息路由信号的预言对齐适配器）。生产基底结果不在该制度内。我们并不声称混合 LoRA 进化*不能*发挥作用——只是我们测试的特定配置，在我们测试的特定基底上，没有发挥作用。我们期望本文对那些即将在类似进化设计上投入计算资源并希望了解哪些子机制最有可能承载价值的读者最为有用。

#### 本文不是什么。
我们并未声称达到了混合 LoRA 的最先进水平；绝对困惑度数字是由在领域混合 32k 词汇表语料库上训练 70,000 步的约 1.5 亿参数从头训练基座产生的，且 25,000 步的适配预算很小。我们并未声称生命周期惩罚是普遍的；预算、继承计划、突变率、生命周期节奏、特定杀伤门控和基底宽度都是可以出错的设计选择。我们并未声称合成沙盒的预言对齐边界能无缝迁移到所有生产混合 LoRA 设置——只是它在我们就测的一个方向上迁移（不在预言对齐制度内的基底未能从 ES 中受益，与边界一致）。局限性（第 8 节）与头条数字一样是本文的核心。

#### 路线图。
第 2 节将工作置于混合专家、参数高效适配以及进化策略与梯度下降文献的背景中。第 3 节描述基底、评估管道和审计链。第 4 节报告合成沙盒边界结果。第 5 节报告生产基底 5 单元格部分析因实验。第 6 节解释为什么路由重写承载了胜利。第 7 节报告关于生命周期惩罚的辅助消融实验（阶段 B 和 Fork 0）。第 8 节以 TMLR 惯例的扩展形式陈述局限性，第 9 节列出计划的后续工作，包括隔离 F1 中门控函数重写与路由输入变化的四单元格子析因实验，以及隔离死亡和繁殖与继承和突变的 F3 子组件分解。

## 2 相关工作

我们按方法论而非逐篇论文组织相关工作，围绕生产基底析因实验分解的三个因子（第 5 节）：路由通道本身、在适配器群体上操作的进化生命周期，以及将每领域信号聚合为平衡头条的评估方法。

#### 混合专家和混合 LoRA 中的路由。
与我们 F1 因子最接近的先前工作是关于 Top-$k$ 路由混合专家的研究，其中参数化的路由器为每个 Token 选择专家子网络的稀疏子集，未选择的专家不计算（Fedus et al., 2021; Zoph et al., 2022）。这一领域中报告了两个 recurring 病理现象：（i）路由坍塌，即一小部分专家捕获了所有路由质量，其他专家路由死亡，通过负载均衡辅助损失和 Z-loss 惩罚解决（Zoph et al., 2022）；以及（ii）路由输入规范不足，即门控函数无法访问足以区分专家专业性的表示，通过专家选择等替代路由方案解决（Zhou et al., 2022）。混合 LoRA 扩展用层叠在冻结主干上的参数高效 LoRA 适配器替换密集 MLP 专家（Hu et al., 2021; Li et al., 2024）。我们在遗留 Softmax 路由器上测量的联盟垄断（第 6.1 节）属于病理类别（i），而路由输入从 Token 嵌入均值到堆叠后隐藏状态的改变属于病理类别（ii）。我们的 F1 贡献不在于识别这些已知病理，而在于*通过归因链分解生产基底的增益*并证明路由修复承载了此基底上的全部平衡困惑度胜利。

#### 神经网络参数上的进化搜索。
系统的进化方面继承了长期的神经进化和基于群体的工作传统。进化策略（ES）已被研究为策略网络参数上强化学习的可扩展替代方案（Salimans et al., 2017），以及神经网络架构和权重的通用搜索方法（Stanley et al., 2019）。ES 最好被解读为有限差分梯度估计器还是根本不同的搜索方案已直接研究过（Lehman et al., 2018）；这是一个实证问题，取决于制度，并 informs 我们在第 4 节报告的合成沙盒预言对齐边界。神经网络的基于群体的训练（Jaderberg et al., 2017）引入了相关但不同的机制：将适应性更好模型的权重复制到适应性较差的模型中，并就地变异其超参数。硬件加速的神经进化框架（Tan et al., 2022）使群体方法在现代加速器上变得可行。我们的 F3 贡献不在于引入新的进化原语——死亡、带有可遗传突变的繁殖以及通过 $\alpha$-混合到最近邻的继承是熟悉的组件——而在于测量它们的*聚合效应*在特定适配器进化基底上是正的、零的还是负的。

#### 大型语言模型上的进化方法。
更直接相关的近期文献将进化搜索应用于大型语言模型本身，而不仅仅是小型策略网络。Qiuet al. (2025) 报告称，在全参数 LLM 微调上的 ES 在测试规模下与强化学习具有竞争力；Sarkaret al. (2025) 引入了一种针对超大规模的低秩结构化 ES 变体（EGGROLL）；Korotyshovaet al. (2025) 将 CMA-ES 应用于多达 720 亿参数的 LoRA 奇异值。Lianget al. (2026) 提供了关于为