RLMOpt:基于递归语言模型的自适应提示优化
摘要
RLMOpt 是一种提示优化器,它使用递归语言模型来驱动搜索策略本身,在多个基准测试上优于 GEPA 等现有方法,同时使用更少的 rollouts 并生成更短的提示。
arXiv:2608.10471v1 公告类型:新
摘要:提示优化器自动搜索能提升语言模型性能的提示,但现有方法依赖预定义的优化流程:算法决定探索哪些候选以及搜索如何推进,而语言模型仅负责生成或改进提示提案。我们提出 RLMOpt,一种通过递归语言模型(RLM)使搜索策略本身由语言模型驱动的提示优化器。RLM 代理在基于工具的环境中运行,检查任务信息、分析失败、生成候选、分配评估预算并决定何时停止。一个确定性框架补充代理的功能,强制执行客观评分、基于 Pareto 的选择和回归约束。
我们在四个基准上评估 RLMOpt,涵盖结构化临床信息提取(Chia)、多跳问答(HotpotQA)、可验证指令遵循(IFBench-2025)以及多轮工具调用代理(BFCL)。在单一种子下的匹配比较中,RLMOpt 在所有四个基准上均取得最佳留出分数,并引领四项任务的平均值(0.610,而 GEPA 为 0.589)。跨种子重复每个基准共得到 11 次匹配的基准-种子比较,其中 RLMOpt 在 9 次中优于 GEPA。在所有 11 次运行中,它从未产生过性能低于其初始种子的提示,而 GEPA 有两次低于其起点。它也更高效,以更少的搜索 rollouts 实现这些结果,同时生成的提示大小为 GEPA 生成提示的 27-79%。
我们的结果进一步表明,优化收益主要取决于种子提示中可用的提升空间,而不是搜索预算。因此,高效优化取决于可靠地并以最少搜索达到可用提升空间。
查看缓存全文
缓存时间: 2026/08/12 08:24
# 基于递归语言模型的自适应提示优化
来源:https://arxiv.org/html/2608.10471
Subhash Bangalore Satheesha
Autonomize AI
subhash\.satheesha@autonomize\.ai
&
Nirvik Pande
卡内基梅隆大学
nrpande@cmu\.edu
Deepthi Duddempudi
Autonomize AI
deepthi\.duddempudi@autonomize\.ai
&
Bharath Dandala
Autonomize AI
bharath\.dandala@autonomize\.ai
###### 摘要
提示优化器自动搜索能够提升语言模型性能的提示,但现有方法依赖于预定义的优化流程:算法决定探索哪些候选以及搜索如何进行,而语言模型仅负责生成或改进提示候选项。我们引入RLMOpt,一种提示优化器,它通过递归语言模型(RLM)使搜索策略本身由语言模型驱动。RLM智能体在基于工具的环境中运行,检查任务信息、分析失败、生成候选、分配评估预算,并决定何时停止。一个确定性的harness(执行框架)通过强制执行客观评分、基于帕累托的选择和回归约束来补充智能体的决策。我们在四个基准上评估RLMOpt,涵盖结构化临床信息抽取(Chia)、多跳问答(HotpotQA)、可验证指令遵循(IFBench-2025)和多轮工具调用智能体(BFCL)。在单种子的匹配比较中,RLMOpt在所有四个基准上取得了最佳保留得分,并领先四项任务的平均得分(0\.610对GEPA的0\.589)。跨种子重复每个基准产生11次匹配的基准-种子比较,其中RLMOpt在9个案例中优于GEPA。在所有11次运行中,它从未产生过落后于其种子的提示,而GEPA有两次低于其起始点。它还更高效,使用更少的搜索rollout即可实现这些结果,同时生成的提示大小为GEPA生成的提示的27-79%。我们的结果进一步表明,优化收益主要由种子提示中可用的提升空间决定,而非搜索预算。因此,高效优化取决于可靠地并以最少搜索触及可用提升空间。
## 1 引言
现代AI系统越来越依赖多阶段语言模型流水线,其中多个语言模型调用协同工作,以回答问题、检索信息、抽取结构化数据、遵循复杂指令或与外部工具交互。这些系统的性能在很大程度上取决于指定每个语言模型组件行为的提示。然而,手工设计有效提示需要大量人力,要求特定任务的专业知识,并且通常无法在不同组件或应用之间迁移。提示优化通过自动搜索能够提升任务性能的提示表达方式来解决这一挑战。给定示例输入和评估信号,提示优化器迭代地生成候选提示,评估其行为,并保留表现更佳的变体。近期方法,包括GEPA[1 (https://arxiv.org/html/2608.10471#bib.bib1)]、MIPROv2[2 (https://arxiv.org/html/2608.10471#bib.bib2)]和OPRO[3 (https://arxiv.org/html/2608.10471#bib.bib3)],已在多个基准上展现出强大性能。
尽管优化算法存在差异,现有提示优化器共享一个共同设计:搜索策略由预定义算法指定。GEPA通过反思性变异和基于帕累托的选择来进化提示,MIPROv2使用贝叶斯优化来探索指令和示例,OPRO则在固定优化循环内由先前提示-分数历史引导的语言模型驱动。虽然这些方法已经融入了任务反馈,但更高级别的搜索策略仍然是预先定义的:优化器预先决定候选如何生成、执行哪些评估以及如何衡量进展。我们研究了一个不同的设计点:让搜索策略本身具有适应性。我们不只使用语言模型来提出候选提示,而是探究语言模型是否能够控制优化过程本身:决定检查哪些证据、测试哪些假设、细化哪些候选,以及何时进一步探索不太可能提升性能。
我们引入RLMOpt,一种基于递归语言模型(RLMs)[12 (https://arxiv.org/html/2608.10471#bib.bib12)]的自适应提示优化器。RLM提供了一个框架,其中语言模型在程序化环境中运行,并可以递归调用子模型。在RLMOpt中,RLM充当优化策略。它与基于工具的环境交互,检查任务信息、分析失败、综合候选提示并分配评估预算。因此,优化器不是跨任务以相同方式执行的固定搜索过程,而是一个确定自身优化轨迹的自适应智能体。
自适应搜索带来了新的挑战:当评估数据有限且候选改进存在噪声时,优化决策必须保持可靠。为了解决这一问题,RLMOpt将决策制定与强制执行分离开来。RLM智能体控制探索,而确定性的*harness*拥有所有不应依赖语言模型决策的部分:它执行任务LM,计算所有分数,并强制执行基于帕累托的候选选择和回归约束。这种分离使得优化器能够灵活探索,同时保持语言模型难以持续维护的保证。
我们在四个基准上评估RLMOpt,涵盖结构化临床信息抽取(Chia[24 (https://arxiv.org/html/2608.10471#bib.bib24)])、多跳问答(HotpotQA[22 (https://arxiv.org/html/2608.10471#bib.bib22)])、可验证指令遵循(IFBench-2025[25 (https://arxiv.org/html/2608.10471#bib.bib25)])和多轮工具调用智能体(BFCL[20 (https://arxiv.org/html/2608.10471#bib.bib20)])。在这些设置中,RLMOpt在每个基准上取得了最佳保留得分,并在使用更少搜索rollout的同时相较于GEPA提升了四项任务的平均得分。我们进一步分析了自适应优化在何时最有用(第6节 (https://arxiv.org/html/2608.10471#S6)),表明改进受到初始提示可用提升空间的限制,而接近上限的任务几乎不给任何优化器留下改进余地。
#### 贡献。
1. 1.我们引入RLMOpt,一种提示优化器,其外部搜索过程由RLM智能体而非固定优化算法控制。该智能体通过工具接口进行自适应探索,而确定性harness强制执行评估和选择约束。
2. 2.我们开发了一个harness控制的优化框架,用于在有限评估数据下实现可靠的自适应搜索,包括逐字段评分、基于帕累托的选择和防止候选更新牺牲现有能力的回归约束。
3. 3.我们展示了在四个基准上优化效率的提升,RLMOpt在需要比现有提示优化器更少下游评估的情况下实现了最强的保留性能。
4. 4.我们通过分析初始提示质量与可实现改进之间的关系来刻画提示优化何时提供价值,表明优化器的收益取决于底层模型剩余的性能提升空间。
5. 5.我们将自适应提示优化扩展到多组件智能体系统(第3.7节 (https://arxiv.org/html/2608.10471#S3.SS7)),其中优化对象包括工具使用行为和交互轨迹,而不仅仅是单响应提示。
## 2 相关工作
#### 提示优化。
自动提示优化方法搜索自然语言指令和示例,以提升下游任务性能。早期方法如APE[4 (https://arxiv.org/html/2608.10471#bib.bib4)]从示例中生成候选指令,并通过评估选择高性能变体。后续方法引入了更丰富的优化流程:OPRO[3 (https://arxiv.org/html/2608.10471#bib.bib3)]使用基于先前提示-分数历史的条件语言模型提案,MIPROv2[2 (https://arxiv.org/html/2608.10471#bib.bib2)](在DSPy[11 (https://arxiv.org/html/2608.10471#bib.bib11)]中实现)通过贝叶斯搜索联合优化指令和少样本示例,GEPA[1 (https://arxiv.org/html/2608.10471#bib.bib1)]使用具有基于帕累托选择的反思性变异。TextGrad[5 (https://arxiv.org/html/2608.10471#bib.bib5)]将更新本身泛化,将自然语言批评视为通过语言模型调用图传播的文本梯度。其他进化方法,包括EvoPrompt[7 (https://arxiv.org/html/2608.10471#bib.bib7)]和Promptbreeder[6 (https://arxiv.org/html/2608.10471#bib.bib6)],探索了由语言模型生成变异和交叉操作的遗传公式。这些方法表明,语言模型可以有效地参与提示搜索,特别是在反思和候选生成方面。我们的关注点是互补的:我们不是改进预定义优化器内部的候选生成机制,而是研究优化控制器本身由语言模型驱动的设置。在RLMOpt中,语言模型决定收集哪些信息、评估哪些候选以及如何分配搜索精力。
#### 语言模型智能体和递归语言模型。
语言模型智能体如ReAct[18 (https://arxiv.org/html/2608.10471#bib.bib18)]、Reflexion[17 (https://arxiv.org/html/2608.10471#bib.bib17)]和Voyager[19 (https://arxiv.org/html/2608.10471#bib.bib19)]使用语言模型作为多步推理、反思和工具交互的控制器。递归语言模型(RLMs)[12 (https://arxiv.org/html/2608.10471#bib.bib12)]通过允许语言模型在程序化环境中运行并递归调用子模型来扩展这一范式。一个相关的研究方向让模型自己设计流程:ADAS[10 (https://arxiv.org/html/2608.10471#bib.bib10)]让元智能体用代码逐步编制更好的智能体。RLMOpt将这种智能体控制范式应用于提示优化,使用RLM作为搜索过程,同时维护确定性的harness侧评估和选择。
#### 相关优化框架。
一些系统优化AI行为的各个方面,超出提示文本。提示调优[9 (https://arxiv.org/html/2608.10471#bib.bib9)]学习连续的提示表示,而强化学习方法如RLPrompt[8 (https://arxiv.org/html/2608.10471#bib.bib8)]和RLHF风格方法[15 (https://arxiv.org/html/2608.10471#bib.bib15),16 (https://arxiv.org/html/2608.10471#bib.bib16)],以及策略梯度训练如GRPO[14 (https://arxiv.org/html/2608.10471#bib.bib14)],优化模型参数或策略而非自然语言提示。相比之下,RLMOpt完全在文本空间中运行,保持提示的可解释性和跨语言模型的可移植性。并发工作如SkillOpt[13 (https://arxiv.org/html/2608.10471#bib.bib13)]也探索了针对智能体的自然语言工件的迭代优化。虽然SkillOpt在预定义的优化流程中通过验证引导的编辑来改进智能体技能,RLMOpt则专注于调整优化流程本身。将搜索控制权交给语言模型引发了一个这些方法都不必回答的问题:是什么阻止自适应优化器在小的验证集上过拟合,或者用一个输出字段换取另一个?下一节描述了回答这一问题的分工(第3节 (https://arxiv.org/html/2608.10471#S3))。
## 3 方法
### 3.1 概述
与固定流程既提出又评估候选提示的优化器不同,RLMOpt将搜索控制与客观评估分离:RLM智能体控制对提示的搜索,而确定性harness评估候选并维护优化状态。harness是一个程序而非第二个智能体:它拥有数据集,执行任务LM,计算所有分数,并强制执行选择规则,但不选择下一个要提出的候选。形式上,令 \(p\) 表示提示,\(\theta\) 表示任务LM,\(m(\theta(p,x_i),y_i)\) 为示例 \((x_i,y_i)\) 的评估指标。优化目标为
\[
\max_p \frac{1}{N}\sum_{i=1}^{N} m(\theta(p,x_i),y_i),
\tag{1}
\]
从种子提示 \(p_0\) 开始,并受搜索预算 \(B\)(任务LM候选评估次数)约束。种子评估建立初始验证基线,不计入智能体的搜索预算。智能体仅通过harness访问任务,因此第3.4节(https://arxiv.org/html/2608.10471#S3.SS4)的选择规则适用于每个候选,无论智能体如何提出。用于条件化智能体的固定技能提示见附录A(https://arxiv.org/html/2608.10471#A1),完整工具接口记录于附录D(https://arxiv.org/html/2608.10471#A4)。
### 3.2 智能体控制的搜索
智能体以种子提示、任务描述、可用工具、搜索预算和持久草稿本初始化。在我们的实验中,RLM智能体为gpt-5.1,而任务LM根据基准为gpt-4.1或gpt-4o-mini。遵循递归语言模型公式[12 (https://arxiv.org/html/2608.10471#bib.bib12)],智能体通过在REPL中编写代码来行动,而不是发出固定的动作符号。每轮它编写一个简短程序,调用表1(https://arxiv.org/html/2608.10471#S3.T1)中的一个或多个工具,并读取打印输出。因此,智能体既选择执行哪个操作,也选择何时执行。它可以先检查示例和失败轨迹以形成假设,再花费一次评估;也可以先评估候选,然后利用得到的反馈决定下一次编辑。它还可以在耗尽搜索预算之前停止(第3.6节(https://arxiv.org/html/2608.10471#S3.SS6))。
智能体直接编写候选提示。`run_candidate`和`commit_prompt`都将提示文本作为参数接收,因此每个被评估或提交的候选均由智能体编写。通过`call_subagent`和综合工具进行的子LM调用返回压缩证据,如失败摘要、共享失败模式或候选规则,智能体随后决定是否以及如何将这些证据纳入提示。唯一的例外是`merge_candidates`,它将两个现有候选合并为单个提示的任务委托给子LM。
### 3.3 工具接口和反馈
harness向智能体的REPL公开用于任务检查、失败分析、子LM综合和候选评估的工具。持久草稿本提供了一种独立机制,用于跨轮记录中间事实、假设和决策,因为任何单个结果的REPL视图是有限的。表1(https://arxiv.org/html/2608.10471#S3.T1)总结了接口。
表 1:Agent可用的工具接口。候选评估通过`run_candidate`公开;其余工具不消耗任务LM搜索预算。
一次`run_candidate`调用返回结构化的反馈记录,而非标量分数。该记录包含综合得分、其逐相似文章
递归语言模型
本文介绍了递归语言模型(Recursive Language Models, RLMs),这是一种推理策略,使大型语言模型(LLMs)能够通过将任意长的提示视为外部环境,并在提示片段上递归调用自身来处理这些提示。RLMs可以处理超出上下文窗口两个数量级的输入,并且在长上下文任务上以可比的成本优于基础LLMs。
基于环境的LLM游戏智能体自动提示优化
介绍了一个针对LLM游戏智能体的自动提示优化框架,该框架将观察-行动流水线分解为两个智能体,并通过环境回报引导的进化循环迭代优化提示。在BabyAI任务上评估,显著提高了成功率(例如,在PutNext上从0%提升到72.5%),且无需更新模型权重。
自监督提示优化
本文提出了一种名为自监督提示优化(SPO)的框架,该框架通过输出对比来优化大语言模型的提示词,无需外部参考,显著降低了成本和数据需求。
卡尔曼与课程学习相遇:自适应RL微调的高效动态提示选择
本文介绍了KGPS,一种卡尔曼引导的提示选择方法,用于大语言模型的自适应强化学习微调。该方法将提示难度建模为动态状态,以提高准确率和采样效率。
LEEPS:基于潜在引导的探索-利用提示采样,用于大型语言模型的高效RLVR
本文介绍了LEEPS,一种用于大型语言模型中基于可验证奖励的高效强化学习(RLVR)的潜在引导探索-利用提示采样器。它自适应地平衡了对信息丰富提示的重复利用和对不确定提示的探索,在基线上将推理基准分数提高了2.6-3.7%,而每个训练步骤仅增加约2秒的开销。