Salesforce 发现了更好的方法来共同进化代理及其控制机制(9分钟阅读)

TLDR AI 论文

摘要

这项研究探讨了将框架进化与模型适应相结合用于AI代理,发现直接模仿专家会损害较弱模型的性能,并提出了一种基于策略的纠正方法,以在不破坏框架适应企业任务的情况下提高性能。

Salesforce 发现,在其框架已经优化之后,直接在专家代理轨迹上训练较小模型可能会损害性能。
查看原文
查看缓存全文

缓存时间: 2026/09/11 14:14

# 在线策略校正帮助较弱模型在模仿失败时迎头赶上
来源:https://arxiv.org/html/2609.09134
Bin Bi Shiva Kumar Pentyala Shubham Mehrotra隶属机构:Sougata Chaudhuri Shilpa Bhagavath Zeyuan Chen Ran Xu隶属机构:Phil Mui James Zhu Sitaram Asur隶属机构:Salesforce AI

###### 摘要

代理工具架(包括系统提示、工具集、执行钩子以及模型周围的上下文管理脚手架)是决定代理任务成功的关键因素,而自动化的工具架演进已被证明能以远低于前沿模型的成本,让较小模型在特定领域任务上表现出色。由于工具架和模型的权重共同塑造代理的行为,并且像LoRA这样的微调方法是中小模型广泛采用的实用模型调整手段,我们探讨如何将这两种杠杆相结合。使用七个企业代理基准测试(Yang等人,2026(https://arxiv.org/html/2609.09134#bib.bib1)),我们首先用较弱模型演进工具架并实现其收益;随后我们发现,更强的专家模型通常能更好地利用演进后的工具架,这表明较弱模型可以从专家那里学习以缩小剩余的性能差距。然而,自然的下一步——使用专家在演进后工具架下的轨迹来教导较弱模型——却令人惊讶地事与愿违:模仿专家导致较弱模型在所有七项任务上出现退步(-4至-30分),这一结果在两种模型家族(Qwen3-Coder和Gemma 4)中重现,即使相同过程在未经演进的基础工具架下是有帮助的。我们的分析揭示,在模仿下,较弱模型确实获得了专家的知识并更充分地利用了工具架脚手架,但其与工具架的适配性却受损了。较弱模型采用了专家的规划策略却没有相应执行能力,不再适配围绕其原生规划风格演进的工具架。为了有效引入教学信号,我们转而开发了一个在线策略专家校正流程,由一个元级MLE代理全自动端到端完成:它在较弱模型自身的每一轮回中定位失败回合,并让专家仅重写该回合,从而保留模型的规划风格。这种方法既从专家那里学习,又不破坏与工具架的适配性,从而结合了工具架演进和模型调整的双重益处。我们识别并解决了工具架演进与模型权重调整之间的冲突根源,提出了一种可纳入共同演进循环的方法。我们的结果阐明了如何联合且经济地共同演进工具架和模型权重,以在特定领域企业任务上实现强大性能。

## 1引言

代理的能力由底层大语言模型及其周围的工具架共同决定——即系统提示、工具集、执行钩子和上下文管理脚手架,它们决定了模型观察到的内容及其行动空间。近期研究表明,工具架是一个强大的杠杆,将其视为可编辑的程序并自动搜索,可以将小型开源权重模型提升到接近前沿模型的准确度,用于编码和企业任务(Yang等人,2026(https://arxiv.org/html/2609.09134#bib.bib1);Agrawal等人,2025(https://arxiv.org/html/2609.09134#bib.bib4);Lee等人,2026(https://arxiv.org/html/2609.09134#bib.bib5);Chen等人,2026b(https://arxiv.org/html/2609.09134#bib.bib7))。这对于涉及调用内部API工具、代码重构和长时间序列数据审计的企业代理任务尤其有价值,因为推理成本也很重要,而特定任务的工具架可以为较小模型提供所需的脚手架,使其以显著更低的成本可靠执行。

然而,工具架演进只是将代理适应领域的两个杠杆之一;另一个是模型权重。本研究中,我们关注的是在特定领域内工具架与模型的共同演进,而非旨在提升模型通用代理能力的更广泛后训练。因此,我们主要实验使用参数高效微调,如LoRA-SFT(Hu等人,2022(https://arxiv.org/html/2609.09134#bib.bib8)),它被广泛用于在几个GPU小时内将小或中等规模模型适应到狭窄任务。我们提出的核心问题是:在合理预算下进行特定任务领域适应时,应如何结合工具架演进和轻量级模型微调?它们能否共同演进以实现协同增益,而非相互干扰?

专家轨迹是代理模型适应的有效监督信号(Wang等人,2026(https://arxiv.org/html/2609.09134#bib.bib12)),这表明在工具架演进后自然有下一步。先前的工作表明,演进后的工具架可以向上迁移至不同模型骨干网络(Xu等人,2026(https://arxiv.org/html/2609.09134#bib.bib6)),我们证实,更强的专家置于为较弱模型演进的工具架中能轻松适应它,并且通常比更弱模型更有效地使用它。因此,缩小这种模型能力差距的一个自然教学信号是模仿更强的专家,这暗示了一个简单的配方:首先演进工具架,然后在专家模型的指导下微调较弱模型。令人惊讶的是,我们发现基于演进后工具架收集的专家轨迹进行微调会持续降低任务成功率,而相同的配方在未经演进的基础工具架下却带来显著提升,这表明失败源于模仿与工具架演进的相互作用,而非模仿本身。这种退步不是工具架使用或知识的丧失;受损的是模型与工具架的适配性。微调模型复制了专家的规划策略却没有执行能力,不再匹配围绕其原生规划风格演进的工具架。基于此诊断,我们转而引入在线策略的教学信号:一个元级MLE代理在较弱模型自身的每一轮回中定位失败回合,并让专家仅重写该回合,从而保持模型的规划分布不变。

我们的贡献如下:

1. (i)工具架的向上迁移揭示了模型侧的提升空间并实现了专家监督。在七个企业代理任务中,更强的专家能轻松操作为更弱模型演进的工具架并有效利用其特定任务适应。在共享工具架下,专家在每个任务上都优于较弱模型,并达到或超过其自身默认工具架下的性能,这表明演进后的工具架在不同模型骨干网络间仍然有用,同时暴露出较弱模型尚未实现的能力。
2. (ii)完整轨迹的专家模仿破坏了模型-工具架适配性。在工具架演进后,使用专家模型的轨迹微调较弱模型会导致所有七个基准测试的任务成功率下降4到30分,且该效应在第二个模型家族中持续存在,而相同过程在未经演进的工具架下带来收益,这将失败原因孤立到模仿与工具架演进的相互作用。原因并非知识丢失或脚手架使用减少(两者在SFT后反而增加),而是规划策略漂移:模型采用了专家的策略,不再匹配围绕其自身演进的工具架。
3. (iii)在线策略专家校正解决了这一冲突并实现了迭代共同演进。我们开发了一个在线策略专家校正循环来缓解直接模仿导致的规划退步。一个元级MLE代理在模型自身的回溯中定位失败回合,并让专家模型仅示范该回合。我们表明,这种方法可以在演进后工具架的增益基础上实现进一步的模型侧提升,并且可以纳入工具架-模型共同演进循环(图1(https://arxiv.org/html/2609.09134#S1.F1))。

更广泛地看,我们的结果表明,一旦工具架针对特定模型优化,工具架和模型适应就不再是独立的:形成的脚手架会与模型的规划和执行行为耦合,因此后续的权重更新应保留而非无意中破坏这种适配性。对于构建经济高效企业代理的实践者而言,这提出了一个具体的设计原则:在工具架演进后,在学生模型访问的状态上提供在线监督,而不是依赖对更强模型轨迹的全面模仿。这允许模型更新在工具架改进的基础上构建,并支持迭代共同演进。

参考图片说明图1:工具架-模型共同演进。每一轮围绕当前较弱模型Mt演进一个工具架Ht*,然后在该工具架下更新模型。完整轨迹的专家模仿可能破坏形成的模型-工具架适配性,而在线策略专家校正则使用较弱模型访问过的状态,并结合来自更强专家的局部校正,在保持适配性的同时生成更新后的模型Mt+1。更新后的模型随后可以在下一轮重新进入工具架演进。
## 2相关工作

先前的研究表明,优化单个提示或更广泛的工具架实现可以使较小模型执行复杂的、多步骤的、使用工具的代理任务(Yang等人,2026(https://arxiv.org/html/2609.09134#bib.bib1);Agrawal等人,2025(https://arxiv.org/html/2609.09134#bib.bib4);Lee等人,2026(https://arxiv.org/html/2609.09134#bib.bib5))。然而,工具架和模型适应之间的界限是模糊的:通过外部脚手架引入的行为随后可以被吸收到模型权重中(Dennis等人,2026(https://arxiv.org/html/2609.09134#bib.bib2);Lu等人,2026(https://arxiv.org/html/2609.09134#bib.bib3))。因此,近期工作开始同时优化这两个杠杆。SIA在分类和科学优化任务中交错进行工具架和模型更新;Co-Harness在改进的工具架下,使用模型自身验证成功的轨迹进行微调用于数学推理;而HarnessForge和HarnessX联合优化模型策略和演进工具架(Hebbar等人,2026(https://arxiv.org/html/2609.09134#bib.bib9);Chen等人,2026c(https://arxiv.org/html/2609.09134#bib.bib10);Chen等人,2026a(https://arxiv.org/html/2609.09134#bib.bib11);Chen等人,2026b(https://arxiv.org/html/2609.09134#bib.bib7))。尽管这些研究在各自领域报告了进展,但一旦工具架专门化于特定模型,这两个杠杆应如何协调,以及在何种条件下后续的权重更新会增强而非破坏这种适配性,目前尚不清楚。我们在异构、长时间序列的企业代理任务中研究了这个问题,特别关注由更强模型产生的监督作为额外教学信号。代理后训练通常使用对成功专家轨迹的监督微调,这可以显著改善工具使用和任务完成度(Wang等人,2026(https://arxiv.org/html/2609.09134#bib.bib12))。最近的方法超越了全面轨迹模仿,在学生策略引发的状态下获取教师延续或干预(Lauffer等人,2025(https://arxiv.org/html/2609.09134#bib.bib13);Ye等人,2026(https://arxiv.org/html/2609.09134#bib.bib14))。然而,这些方法在固定的代理接口下调整模型,并未研究其监督如何与演进的、特定模型的工具架相互作用。我们的工作连接了这些方向,表明模仿完整的专家轨迹可能破坏较弱模型与这种工具架的适配性,而在较弱模型访问的状态上进行局部专家校正则保留这种适配性,允许工具架和模型适应相结合,为它们的共同演进提供了实用原则。

## 3实验

### 3.1企业代理任务和实验设置

我们采用了Yang等人(2026)(https://arxiv.org/html/2609.09134#bib.bib1)的任务套件、环境和工具架优化框架。该套件包含七个客观可验证的企业任务,涵盖工资单审计、预算审批、股票预警、物联网异常检测、浏览器自动化、网站管理和代码重构。我们使用GEPA风格的搜索(Agrawal等人,2025(https://arxiv.org/html/2609.09134#bib.bib4))优化提示、工具、钩子、上下文管理和子代理配置,其中一个gemini-3.1-pro-preview元代理提出失败驱动的编辑,仅在验证性能提升时保留。

我们做了两个环境更改:当需要MCP工具时,代理不能直接修改任务数据库;工具调用错误会暴露给优化器。因此,一些绝对结果可能与Yang等人(2026)(https://arxiv.org/html/2609.09134#bib.bib1)的结果不直接可比。对于模型适应,我们在Qwen和Gemma上使用H100/H200 GPU执行LoRA-SFT(Hu等人,2022(https://arxiv.org/html/2609.09134#bib.bib8)),将Gemini专家轨迹转换为每个学生的聊天和工具调用格式。训练和验证数据用于优化,而测试集保持保留。除非另有说明,我们报告三次运行的测试成功率平均值。完整的模型训练和推理细节见附录B(https://arxiv.org/html/2609.09134#A2)。

### 3.2演进后的工具架向上迁移并揭示模型侧的提升空间

与先前报告一致,演进工具架提升了任务成功率:平均测试成功率从基础工具架下的29.2%上升到演进工具架下的78.0%(表1(https://arxiv.org/html/2609.09134#S3.T1),第1-2行),获得48.8个百分点的增益,且适用于所有任务。特定任务的工具架为较弱模型提供了可靠成功所需的脚手架,特定任务的详细编辑见附录A(https://arxiv.org/html/2609.09134#A1)。我们仅使用较弱的Qwen模型演进此工具架,但更强的专家gemini-3.1-pro-preview能同样好地操作它:专家在基础工具架下从84.4%提升到演进工具架下的93.6%(表1(https://arxiv.org/html/2609.09134#S3.T1),第3-4行,平均+9.2)。对轨迹的仔细检查证实这是对演进工具架组件的真实使用:专家在其93.6–100%的回溯中触发了几乎每个演进后的编辑(表2(https://arxiv.org/html/2609.09134#S3.T2)),包括基础模型很少使用(30.8%)的领域计算配方(94.2%)。由于专家模型在演进后的工具架上表现出更高的任务成功率(平均93.6% 对比 78.0%,+15.6),我们或许可以通过模型更新向更弱的模型传授专家的知识以获得进一步提升。这指向一个简单的共同演进配方:首先演进工具架,然后让专家模型教导较弱模型,拉起模型这一臂,以最大化更强模型与其所立脚的演进后工具架之间的协同效应。

表 1:跨工具架和模型适应的任务成功率。七个企业基准的测试集任务成功率(%)。单元格报告三次运行的平均值±SEM,括号内为百分点变化。第2和第6行的变化相对于第1行;第4、5和7行的变化相对于第2行。h0为

相似文章

重新思考智能体工具框架进化的评估

Hugging Face Daily Papers

本文重新思考了智能体自动工具框架进化应如何评估,指出性能提升可能源于增加的计算量而非真正的改进,并且进化后的工具框架难以泛化到未见过的任务。

@AlphaSignalAI: https://x.com/AlphaSignalAI/status/2074130508833845396

X AI KOLs Timeline

自我改进的机制使AI代理能够通过分析执行轨迹自主重写其运行规则,从而实现60%的性能提升。来自上海AI实验室的研究引入了Self-Harness框架,使得轻量级模型能够在无需人工工程的情况下超越更大规模的模型。

重新审视智能体框架演进的评估

arXiv cs.AI

本文重新评估了 LLM 智能体自动框架演进的方法论,指出其收益可能源于额外的测试时搜索而非改进的框架设计,并且在相同基准上的评估存在过拟合风险。实验表明,框架演进并不始终优于更简单的测试时扩展方法。