@shi_weiyan: 曾经看过一个智能体以100%的自信解决问题却完全搞错吗?你可以修复它……只要你能发现。……
摘要
新论文提出了一种元智能体,它可以监控AI代理并纠正它们的错误,使任务自主完成率提升约两倍。
查看缓存全文
缓存时间: 2026/07/03 02:30
你是否曾目睹某个代理以100%的自信解决问题,却彻底搞错了?
如果你能发现它,你可以修复它……但那样你就得盯住每一次运行。
新论文:我们展示了一个元代理可以替你完成这项工作,让你的代理自主完成的效率提升约2倍。
元代理是管理其他代理的代理。我们构建了一种新方式,仅用几行Python代码就能编写它们。
这能解锁什么?
代理监督器:当你的代理偏离轨道时,它会回退其运行,让它们重回正轨。
CooperBench:从 28.8% → 54.7%
代理优化器:根据代理过去的运行改进它们。
它提出差异(deltas),并通过仅回放运行中受影响的部分来测试它们,利用 95% 的 KV-cache 复用。
在 LiveCodeBench 上,比当前最佳元优化器(MetaHarness)提升 27%,且速度快 2 倍。
面向代理强化学习的树搜索:一个元代理,能从每次训练运行中榨取更丰富的信号。
它将运行分支成多个延续,观察它们的结局,然后利用这些信号改进 RL 训练中的信用分配。
在 TerminalBench-2 上,比 GRPO 增益提升 2 倍。
是什么让它生效?我们的框架:Shepherd
它将代理表示为 Python 函数,并将运行记录在类似 Git 的历史中,其他代理可以在此基础上工作。
而且,由于元代理本身也是代理,你可以将它们堆叠任意多层!
快速入门:http://github.com/shepherd-agents/shepherd…
Shepherd:元代理可以管理你的代理,这样你就不必亲自操心了。
论文:http://arxiv.org/abs/2605.10913
博客及更多:http://shepherd-agents.ai
团队:@simon_ycl @dch @AnanjanN @dilarafsoylu @SunJiuding @chrmanning @shi_weiyan
@StanfordNLP @StanfordHAI × 东北大学
感谢所有反馈帮助塑造此项工作的各位!@lateinteraction @gneubig @MonicaSLam @ChrisGPotts @ChenSun92 @Benjamin_eecs @yi_xin_dong @PranjalAggarw16 @harshitj__ @AkshayIyer22 @ZhengxuanZenWu @ChengleiSi
衷心感谢你们的支持 @tinkerapi @modal
相似文章
@WenZikai: 提升智能体可靠性的一个非常有趣的方向。让元智能体监控并在智能体偏离轨道时进行干预…
一篇新论文提出使用元智能体来监控并在智能体偏离轨道时进行干预,这有可能使自主任务完成率翻倍。
@DataScienceDojo:大多数AI代理一遍又一遍地在相同任务上失败。不是因为模型不好,而是因为没人告诉它该如何工作……
一篇新论文介绍了Self-Harness,一种让AI代理通过分析自身失败、生成修复方案并测试它们来自我改进的方法,从而将通过率提高了最多21个百分点。
@omarsar0: 来自Meta的新研究。(收藏) 关于如何修复忘记先前决策的代理。众所周知...
Meta研究人员提出了一种主动记忆代理,它与未经修改的行动代理并行运行,以呈现相关的过去决策,并防止在长周期任务中发生遗忘。他们的方法在Terminal-Bench 2.0和tau-squared-Bench上分别将pass@1提高了8.3和6.8个百分点。
@leanxbt: 这篇论文完全改变了我对一个智能体如何修复自身代码的看法:生成代码 -> 执行 -> 解释...
本文介绍了一种自我调试技术,智能体通过迭代生成、执行和解释自身代码来发现错误,无需错误信息,准确率提升高达12%,并与生成10倍候选方案的基线持平。
每个人都关注他们的智能体是否完成任务,但几乎没人问它是否在随着时间的推移变得更好
文章指出了AI智能体开发中一个常见的忽视点:虽然大多数团队会监控任务完成情况,但很少有系统能够捕获失败模式并将其反馈到未来的运行中,从而实现学习和持续改进。