标签
谷歌提出自改进记忆(SIM),为Coding Agent的Harness优化器增加结构化记忆,使Harness改进经验能在换模型、换任务后继承并继续演化,实现跨模型跨任务的RSI(CRSI),在多个测试领域显著优于仅继承Harness的基线。
提出以种群为中心的进化(PCE),通过将整个智能体种群的成功、失败与自修改历史蒸馏为“种群信息块”来指导父代运行框架的改进,在 SWE-bench Verified 上达到 72.1%、Polyglot 上达到 96.7%,显著优于群体进化基线。
一篇微软研究院等机构的论文提出 Self-HPO,一种交替优化 harness 与策略模型的递归自我改进框架,将 Qwen3.5-35B-A3B 在三个编码基准上的平均解决率从 57.8% 提升到 64.8%,且联合增益超过各自增益之和。
论文提出 Self-HPO,一个递归自我改进框架,交替优化编码智能体的 harness 与策略模型,使 Qwen3.5-35B-A3B 在编码基准上的平均解决率从 57.8% 提升至 64.8%。
HarnessPro 提出一种无标签的递归自改进方法,通过轨迹诊断与加权 Pareto 选择生成 lite/medium/heavy 三档 harness,在 Terminal-Bench 2、SWE-Bench Pro 等基准上相比 RHO 平均提升 2.0 个百分点通过率并降低 26.1% 单任务成本。
Google 开源了 Harness²,一个即插即用的框架,能够通过递归地提出、探测并组合 harness 修改,在不触碰模型权重的情况下,将任何 agent harness 变成自我改进的系统。在 Gemini 3.5 Flash 和 GLM-5 上测试后,其单轮修改即可超越固定 harness 的表现,并能将经验教训迁移到后续任务中。
论文提出 AutoOnboarder,一个由智能“Onboarder”编码代理监督的自主系统,通过迭代调整基础模型、提示词和 harness 源代码来适配任务,在基因组测序预授权表单提交任务中,以最高降低 29 倍的成本匹配或超越 Gemini 3.5 Flash 基线表现。
Google 的 Harness² 论文研究智能体在开放世界环境中对自身 Harness 的自进化,采用双层递归机制:无需标准答案即可通过行为对比筛选有效修改,并将修改过程本身总结为经验以指导未来任务,在多个基准上显著提升 GLM-5 和 Gemini 3.5 Flash 的性能。
微软研究者提出 ActiveSaddler,该方法根据尚未解决的失败模式为智能体 harness 自动调优器选择训练任务,在 GAIA2 上将通过率提升 4.4 个百分点,在 Terminal-Bench 2.0 上提升 7.5 个百分点,同时大幅降低调优成本。
Devin 的最新更新让这款 AI 软件工程智能体的成本降低了 30% 到 70%,具体幅度取决于运行模式,实现方式是集成 SWE-2 等最新模型,并通过批处理工具调用和改进提示词缓存来优化其运行框架;同时,Devin Fusion 目前在 FrontierCode 1.1 Extended 基准测试中以每任务 0.60 美元的成本位居前列。
本文提出 AutoRef,一种通过编码智能体在保持模型冻结的前提下自动重写并优化图像生成智能体可执行框架(harness)的方法。由此得到的 AutoRef-Harness 将开源模型 FLUX.2 [klein] 4B 在留出的四参考 MultiBanana 任务上的表现从 5.72 提升至 7.37,达到甚至超越 Nano Banana Pro 和 GPT-Image-1.5 等闭源模型的水平,并且无需重新优化即可迁移到不同的生成器、基准和推理模型上。
一位开发者为编码AI代理构建了自定义基准测试,并发现当测试框架优化时,一个35B参数模型优于120B参数模型,凸显了定制化评估相对于通用规格的重要性。
EdgeGen 是一个合成任务生成框架,它创建基于数据库的边缘案例任务,以通过微调和 harness 优化来改进工具调用智能体,展示了一致的性能提升。
本文介绍了针对AI智能体框架的正则化递归自我改进(RRSI),该方法在递归进化过程中应用正则化以防止过拟合,在多个基准测试中展示了性能提升。
本文研究代理框架优化,以改进大语言模型工具代理而无需重新训练,重点关注提示和工具边界中间件,并引入了一个协议和PRISM优化器以实现可测量的增益。
本文介绍HarnessEvo,将LLM代理框架分解为可独立演化的槽位,揭示优化价值局部存在于反思/控制等特定组件中,均匀预算分配次优,并主张针对性的预算集中。
该论文提出了 WHALE,一种交替优化方法,用于联合训练 AI 代理中的模型权重和 Harness 代码,在搜索 QA、数学推理和国际象棋谜题中实现了显著的性能提升。
文章介绍了HarnessOpt-Bench,一个评估LLM改进其他AI代理框架能力的基准测试,并基于5个前沿模型的研究结果,指出模型选择对性能的影响大于框架选择。
AutoSaddler 是微软开发的一款工具,通过诊断执行跟踪并应用结构化更新到提示、工具和中间件,自动优化LLM代理框架,展示了显著的基准改进。
AutoSaddler是一个自动套件优化框架,通过使用失败信号迭代更新套件,提升LLM智能体在长期任务上的表现,在GAIA2和SWE-Bench等基准测试中实现了显著提升。