我编写了一种方法,将其提供给Codex,它通过了Terminal-Bench任务,该任务有59次公开运行且零通过。

Reddit r/AI_Agents 新闻

摘要

作者开发了一种方法来减少AI系统中的代理漂移,使Codex能够通过一个先前零成功的Terminal-Bench任务。该技术涉及让代理在直接处理任务之前先构建一个服务。

此任务有59次公开运行,涉及11种不同的模型和代理配置。零通过。我使用的同一个模型,gpt-5.6-sol在最大推理努力下,在公开记录中5次运行0通过。有一次运行在官方验证器上得分为19分中的19分,在90分钟限制内。任务是Terminal-Bench 3.0上的ico-path-patch — 二进制逆向工程加热补丁,19个检查,全有或全无。那次运行中唯一不同的是代理没有直接开始任务。它首先为任务构建一个小服务,将其冻结,然后通过该服务处理任务,而不是每隔几轮重新推导约束条件。这源于一个大家都知道的问题:运行时间越长,代理对自己位置的认知与实际情况的偏差越大。我从运行自己的多代理系统中写了一篇关于原因的理论,并在该系统中的一个代理开始无提示地使用该理论诊断自身漂移后,将其转化为一种方法。我所希望的是其他人也能运行这个任务,有两种方式可以做到。使用你自己的技术栈。无论你调整过什么——提示、编排、记忆,无论你最终选择了什么。任务是公开的,评分器不是我的,结果是一个单一数字,不在乎是谁的框架产生的。如果你的设置在没有我的任何参与的情况下通过了,那是一个比我的运行更有趣的结果,而且老实说,这会告诉我我的方法并不是起作用的东西。或者使用我的。步骤已经写好了,它是免费的,如果有效,得分是你的。我特别希望看到它在一个我从未涉足的领域被尝试——我的领域是软件形式的,我不知道这是否在其他地方也成立。无论哪种方式,我都想听听发生了什么,包括如果它不起作用。值得一提的是,我尝试了四次有评分的尝试才通过一次,而且没有一次运行中代理获得了构建阶段但没有方法文本——所以"任何构建阶段都行"仍然是一个我无法排除的合理解释。链接在评论中。
查看原文

相似文章

驾驭工程:在智能体优先的世界中利用Codex

OpenAI Blog

OpenAI描述了一项内部实验,使用Codex智能体构建了一个零手动编写代码的生产软件产品,在五个月内由AI编写了150万行代码,开发速度提升了约10倍。团队认识到,有效的智能体驱动开发要求工程师专注于系统设计、脚手架和反馈循环,而不是直接编写代码。

WorkBench再访:两年后的工作场所智能体

arXiv cs.CL

本文在WorkBench基准发布两年后再次对其进行评估,显示当前最佳智能体(Claude Opus 4.8)能完成89%的任务,且仅有2.5%的有害副作用,而2024年GPT-4的完成率为43%,有害率为26%。研究发现,能力与安全性同步提升,开放权重模型大幅降低了成本,但一些基本错误仍然存在。

我让Codex和Claude Opus处理同一个Java AI单体代理项目

Reddit r/AI_Agents

一位开发者比较了Codex 5.3和Claude Opus 4.6在自主Java AI代理开发中的表现,发现架构更优雅的模型(Claude)经常产生从未执行过的代码,而更直接、更单调的Codex则通过超时和历史恢复等实用修复改进了实际产品。