接力而非路由：面向成本高效的大语言模型驱动进化的自适应种群交接

# 自适应种群交接：实现成本高效的LLM驱动进化
来源：https://arxiv.org/html/2608.05651
Sichun Luo1, Yi Huang2, Guanzhi Deng3, Haibo Wang4 Haochen Luo1, Lei Li1, Zefa Hu2, Junlan Feng2, Qi Liu1

###### 摘要

大语言模型（LLM）驱动的进化在程序搜索和算法发现方面已展现出潜力，但在漫长的进化过程中全程依赖强模型成本高昂。一种自然的替代方案是在固定推理预算下组合使用廉价模型与强模型。然而，现有方法通常在单个查询或变异步骤的层面分配模型，忽略了进化搜索是带有状态的（stateful）：每个生成的候选都会改变后续变异所基于的种群。

我们实证分析了LLM驱动的进化轨迹，发现搜索进展具有强烈的前期集中性（front-loaded），早期轨迹性能具有信息量但噪声较大，且廉价模型以较低成本即可恢复强模型在早期取得的大部分进展。受这些发现启发，我们提出RelayEvolve，一种无需训练的框架，通过自适应种群交接将预算分配从单个调用转向不断演化的种群。廉价模型在由老虎机调度器分配的短块中探索多条轨迹。Relay Gain定义为为交接而构建的紧凑、质量-多样性平衡的候选库的边际改进，它作为调度器的奖励并决定何时交接。精选出的候选初始化一个共享的强模型种群用于精炼。在四个基准和三个预算规模下，RelayEvolve在12个设置中的11个中取得最高平均分，优于竞争性基线。我们的结果表明，在带状态搜索中，预算分配应围绕种群而非单个调用进行组织。

## 引言

由大语言模型（LLM）驱动的进化搜索已成为算法发现（Romera-Paredes et al. 2024 (https://arxiv.org/html/2608.05651#bib.bib26); Liu et al. 2024 (https://arxiv.org/html/2608.05651#bib.bib12)）和程序优化（Luo et al. 2026b (https://arxiv.org/html/2608.05651#bib.bib16); Liu et al. 2026a (https://arxiv.org/html/2608.05651#bib.bib11)）的强大范式。这些方法迭代地生成、评估和精炼候选程序，LLM作为由适应度反馈引导的变异算子。尽管强LLM能够实现有效的变异、修复和精炼，但在整个漫长的进化过程中依赖它们成本高昂，因为需要大量顺序调用。这引出了一个核心问题：在LLM驱动的进化过程中，固定推理预算应如何分配？

在固定推理预算下组合廉价模型与强模型是降低成本的自然途径。已有工作探索了请求层面的成本感知路由以及进化搜索中的模型选择（Ding et al. 2024 (https://arxiv.org/html/2608.05651#bib.bib7); Ong et al. 2025 (https://arxiv.org/html/2608.05651#bib.bib20); Lange, Imajuku, and Cetin 2026 (https://arxiv.org/html/2608.05651#bib.bib9); Ray et al. 2026 (https://arxiv.org/html/2608.05651#bib.bib25); Tanveer 2026 (https://arxiv.org/html/2608.05651#bib.bib27)）。然而，这些方法主要针对单个调用或变异决策优化模型选择，而没有显式考虑候选如何跨进化阶段累积和传递。这种局部视角忽略了进化搜索的一个关键属性：模型调用是状态耦合的，因为每个提案都会改变未来调用所继承的种群。因此，关键问题不是下一个调用应由哪个模型完成，而是廉价搜索阶段何时已产生一个值得移交给更强模型的种群。

为了理解推理预算应如何分配，我们分析了LLM驱动的进化轨迹，并识别出三种模式。首先，适应度改进高度集中在前段，突破性事件集中在搜索早期。其次，早期轨迹质量提供了有用但有噪声的信号，表明仅靠该信号不足以进行可靠分配。第三，廉价模型以更低成本捕获了强模型在早期取得的大部分进展。这些观察促使我们采用种群交接而非调用级模型选择：廉价模型探索多条轨迹并构建一个紧凑、质量-多样性平衡的候选库，然后移交给强模型进行聚焦精炼。

在本文中，我们提出RelayEvolve，一个在固定推理预算下实现成本高效LLM驱动进化的无需训练框架。RelayEvolve首先使用廉价模型在短块中探索多条轨迹，由Grow–Deepen老虎机调度器在轨迹间分配搜索努力。调度器由Relay Gain引导，Relay Gain定义为在线中继库的边际改进，该中继库平衡解质量与覆盖度。当探索饱和时，RelayEvolve使用贪心子模选择从候选池中精选出紧凑的种子集。所选种子初始化一个共享的强模型种群用于聚焦精炼。通过这种方式，中继目标将轨迹分配、交接时机、种子选择和强模型精炼连接起来。我们在四个程序进化基准和不同预算设置下评估RelayEvolve。实验表明，RelayEvolve相对于基线方法改善了成本-性能权衡。

我们的贡献总结如下：

- •我们实证刻画了LLM驱动的进化轨迹。我们发现进展强烈集中在前段，早期轨迹质量提供有用但有噪声的信号，且廉价模型以更低成本捕获了早期搜索进展的相当大一部分。
- •我们提出RelayEvolve，一个无需训练的种群交接框架，使用Relay Gain协调轨迹分配和交接时机。块级Grow–Deepen老虎机调度器探索多条轨迹，而贪心子模精选为强模型精炼选出紧凑且互补的种子种群。
- •在四个程序进化基准和三个预算水平下，RelayEvolve证明了种群交接的有效性，产生了改进的成本-性能轨迹，并在12个基准-预算设置中的11个中取得最高平均分。

## 相关工作

#### LLM驱动的进化搜索。

大语言模型已被用作提示词、启发式和程序搜索的语义变异算子（Guo et al. 2024 (https://arxiv.org/html/2608.05651#bib.bib8); Ye et al. 2024 (https://arxiv.org/html/2608.05651#bib.bib29); Agrawal et al. 2026 (https://arxiv.org/html/2608.05651#bib.bib1); Yan et al. 2026 (https://arxiv.org/html/2608.05651#bib.bib28); Qu et al. 2026 (https://arxiv.org/html/2608.05651#bib.bib24); Luo et al. 2026a (https://arxiv.org/html/2608.05651#bib.bib15)）。FunSearch将LLM与自动评估和基于种群的选择相结合，以发现数学构造和算法（Romera-Paredes et al. 2024 (https://arxiv.org/html/2608.05651#bib.bib26)），而AlphaEvolve将该范式扩展到更大的代码库以及更广泛的科学和系统问题（Novikov et al. 2025 (https://arxiv.org/html/2608.05651#bib.bib19)）。后续框架通过自适应父代采样、新颖性拒绝、档案管理和反思性变异等机制改进了进化框架（Lange, Imajuku, and Cetin 2026 (https://arxiv.org/html/2608.05651#bib.bib9); Assumpção et al. 2025 (https://arxiv.org/html/2608.05651#bib.bib2)）。这些工作建立了能力日益增强的搜索算子和种群管理机制。我们的重点则是在状态化的进化搜索过程中，固定推理预算应如何在廉价模型和强模型之间分配。

#### 成本感知的LLM路由与进化搜索分配。

成本感知的LLM系统在具有不同能力和成本的模型之间分配推理。FrugalGPT构建了请求级模型级联（Chen, Zaharia, and Zou 2023 (https://arxiv.org/html/2608.05651#bib.bib6)），而RouteLLM学习在弱模型和强模型之间路由单个查询（Ong et al. 2025 (https://arxiv.org/html/2608.05651#bib.bib20)）。多模型分配也已在进化搜索中得到探索：ShinkaEvolve使用基于老虎机的LLM集成选择器（Lange, Imajuku, and Cetin 2026 (https://arxiv.org/html/2608.05651#bib.bib9)），AdaptEvolve根据生成置信度升级单个精炼步骤（Ray et al. 2026 (https://arxiv.org/html/2608.05651#bib.bib25)），LEVI将不同变异角色路由到不同模型类别（Tanveer 2026 (https://arxiv.org/html/2608.05651#bib.bib27)）。相关工作线将计算分配给搜索过程而非模型。Hyperband使用逐次减半（successive halving）在配置之间分配资源（Li et al. 2018 (https://arxiv.org/html/2608.05651#bib.bib10)），而AdaEvolve根据搜索进度在演化种群间自适应分配计算（Cemri et al. 2026 (https://arxiv.org/html/2608.05651#bib.bib5)）。这些方法主要优化局部决策：为单个步骤选择模型或为搜索过程分配额外计算。相比之下，RelayEvolve优化模型阶段之间传递的种群：廉价模型构建紧凑的候选库，其集合层面的边际改进联合引导轨迹分配、停止以及最终向共享强模型种群的交接。

## 实证动机

我们考察LLM驱动的进化搜索在固定水平线T=100代内的进展。我们考虑三个任务：Circle Packing (Square)、Transaction Scheduling和Prism（Liu et al. 2026c (https://arxiv.org/html/2608.05651#bib.bib14)）。对于每个任务，我们使用相同的ShinkaEvolve后端（Lange, Imajuku, and Cetin 2026 (https://arxiv.org/html/2608.05651#bib.bib9)）独立运行一个廉价模型（Qwen-3.5-Flash (OpenRouter 2026a (https://arxiv.org/html/2608.05651#bib.bib21)））和一个强模型（Qwen-3.5-Plus (OpenRouter 2026b (https://arxiv.org/html/2608.05651#bib.bib22)））。我们针对每个模型和任务组合进行十次独立运行，总计60次运行。

参见图1：(a) 每个十代区间贡献的每次运行最终最佳适应度改进的比例。(b) 每个区间中突破性事件发生的比例。条形图为三个任务上每个模型十次独立运行的均值。误差线表示95%自助置信区间。阴影区域标记前20代。参见图2：(a) 廉价模型轨迹在第K代的排名与其在第100代的最终排名之间的Spearman相关性。早期信号具有信息量但依赖任务且有噪声。(b) 前20代廉价模型与强模型改进的比值。误差线表示95%自助置信区间。
#### 发现1：搜索进展强烈集中在前段。

对于每次运行，我们将轨迹划分为十代区间，并测量每个区间对总的最优适应度改进的贡献比例。我们还测量了突破性事件的时间分布。如图1 (https://arxiv.org/html/2608.05651#Sx3.F1)(a)所示，前20代分别贡献了廉价模型和强模型总改进的76.3%和79.1%。图1 (https://arxiv.org/html/2608.05651#Sx3.F1)(b)显示突破性事件也集中在搜索早期。此外，每次运行的中位突破数仅为7次，表明进展通常通过少量离散跳跃而非稳定增量来实现。

#### 发现2：早期廉价模型轨迹部分可预测但存在噪声。

在每个任务中，我们根据第K代的最优适应度对十条廉价模型轨迹进行排名，并计算其与第T代排名的Spearman相关性。如图2 (https://arxiv.org/html/2608.05651#Sx3.F2)(a)所示，早期轨迹质量提供了关于最终性能的较弱信号。合并相关性在K=10时为ρ=0.28，在K=20时为ρ=0.32，在K=50时增加到ρ=0.62。然而，任务层面的相关性差异很大，甚至在早期水平线上可能为负。因此，早期适应度应被视为软性分配信号，而非用于承诺单一轨迹的标准。

#### 发现3：廉价模型捕获了相当大的早期进展。

我们比较了廉价模型和强模型在前20代中取得的最佳适应度改进。如图2 (https://arxiv.org/html/2608.05651#Sx3.F2)(b)所示，在Circle Packing、Transaction Scheduling和Prism上，廉价模型与强模型的改进之比分别为0.82×、1.01×和0.83×。尽管廉价模型并非在所有情况下都能匹配强模型，但它以更低的推理成本捕获了早期进展的很大一部分。这表明强模型调用无需在搜索一开始就均匀使用。

参见图3：RelayEvolve概述。廉价LLM在由Grow–Deepen老虎机分配的短块中探索多条轨迹，其奖励是在线质量-多样性库的Relay Gain。当Relay Gain饱和或其预算耗尽时，廉价模型进化停止。随后，RelayEvolve在完整候选池上重新运行贪心子模精选，并将得到的紧凑种子集移交给一个共享的强LLM种群，使用剩余预算进行聚焦精炼。
#### 对RelayEvolve的启示。

这些发现促使我们采用种群交接策略。改进速度的快速下降促使我们采用短块调度和自适应停止。早期排名的不稳定性促使我们维护多条轨迹而非承诺于一个早期领先者。廉价模型在早期取得的实质性进展促使我们将强模型预算保留用于后期精炼。因此，RelayEvolve通过一个平衡质量与覆盖度的紧凑中继库的边际改进来评估廉价模型的动作。该信号决定是开始新轨迹还是扩展现有轨迹，以及何时终止廉价模型搜索。随后使用相同形式的目标从后续强模型进化中选择互补的种子种群。

## 问题建模

我们考虑一个最大化任务特定适应度函数f的LLM驱动进化搜索。在每一代，LLM变异一个此前评估过的程序，外部评估器对生成的候选进行评分。令\mathcal{C}_t表示在t次模型调用后发现的合法程序集合，并且

f_t^*=\max_{x\in\mathcal{C}_t}f(x)

表示截至目前获得的最佳适应度。

我们可以使用一个廉价模型m_c和一个强模型m_s。它们的实际推理成本取决于token使用量，但对m_c的调用在期望上要便宜得多。除了货币推理预算外，我们还设置最大模型调用次数，以考虑候选评估的计算成本。给定总推理预算B和调用预算N，我们的目标是

\max_\pi\ \mathbb{E}[f_T^*]\quad\text{s.t.}\quad\sum_{t=1}^T c_t\leq B,\qquad T\leq N,

其中c_t是第t次调用的实际推理成本。