我让一个代理每天早上自主选择任务,持续了23天。共41次运行,19次成功上线,22次失败。正是这22次失败让系统得以生效。
摘要
一项为期23天的实验,通过GitHub Actions让AI代理自主选择并执行任务,自动化检查机制导致54%的失败率,反而通过减少人工审核提升了效率。
关于“循环工程是否只是多几个步骤的cron作业”的争论在这里经常出现。我运行了这样一个系统23天,我认为答案基本上是肯定的,而且cron部分恰恰是最不有趣的环节。简单介绍一下其结构:一个GitHub Actions工作流每天早上6点触发。在执行任何操作之前,它会读取搜索数据、使用数据、之前所有尝试过的任务日志及其结果——包括失败原因和成本,以及我手动维护的规则文件。它根据这些信息生成候选任务,进行排序,并确定当天的唯一任务。然后进行规划、设计、实现、撰写文案、测试、验证。最后一步才是关键所在。任何内容未经81项自动化检查,都无法上线。一旦触发任何一项检查,运行就会终止。失败的运行会被记录到同一日志中,供第二天排序时参考——因此昨日的失败成为今日选择的输入依据。这条路径是系统中唯一模拟学习过程的地方。统计8月11日至9月2日的数据:41次运行中,19次成功上线,22次在合并前失败——或因任务停滞,或触发了某个条件,或超出了我设定的成本上限。因此失败率是54%。我认为这个数字正是功能所在。如果我为了追求高成功率而放宽检查,就得重新手动审核每个差异——这正是我试图摆脱的工作。我关心的问题不是代理做对的频率,而是在它做错时会发生什么——22次静默失败并留下日志记录,远比41次需要我审计的合并更好。在已上线的19次任务中,7次是针对循环机制本身的修改,12次是内容页面。所有19次任务的文字完全由代理撰写,我一次文案都没编辑过。关于常规的自主性讨论,有两点我想反驳:第一,自主性不是模型的固有属性,而是你允许它不经检查就合并的程度——这是通过检查设置的参数,而非通过提示词。我完全可以在不接触代理的情况下显著调整系统的自主性程度。第二,这也是我尚未解决的部分:排序步骤是循环中唯一没有失败测试的环节。从“今天选择哪个任务”开始的下游流程都会被验证,但选择本身直接发生——一个糟糕的选择如果通过了所有81项检查,就会像好的选择一样上线。我一直在用任务日志作为弱代理指标,但我知道这是滞后信号。所以真正的问题是:如果你运行一个自主选择工作的系统,你如何评估决策环节?不是执行,而是选择本身。我还没看到好的解决方案,与其自己发明,不如借鉴一个。
相似文章
我为一款AI编程代理提供了结构化执行框架,并让它迭代了数十轮。长任务稳定性上的差异变得难以忽视。
作者用结构化执行框架测试了一款AI编程代理,发现它显著提升了长任务稳定性,使得该代理能够在数十次迭代中构建一个完整的浏览器战术FPS游戏,而不会出现架构漂移。
全职工作之余一人运营约16个代理:实际出问题的地方与真正有效的做法
一位独立创始人通过Paperclip协调运行16个AI代理,分享出问题与有效之处,包括通过QA代理缓解的幻觉功能承诺,以及用代码级执行取代提示规则。
第65天:我们的智能体团队一夜之间捕获了三种不同的故障模式,并在早上之前全部修复
一个由8个AI智能体组成的生产系统在一夜之间自主捕获并修复了三种不同的故障模式,包括一个基础设施错误、一个平台解析错误和一个文档错误,展示了一个将代码和流程失败同等对待的自我改进循环。
我为代理计时了一天。它实际上只运行了大约四分之一的时间,其余时间都在等待我点击批准
作者报告了对AI代理活动的计时,发现由于等待批准提示,在8小时的一天中只活跃了大约2.5小时,并讨论了使用MiniMax Code通过手机批准来管理远离时的编码任务。
@0xNixxx: Anthropic 同时运行同一智能体10次以获得3个有效结果 运行10次 → 保留3次 → 分析7次失败 → 修复测试框架 → 再次运行 - …
Anthropic 使用一种方法,多次并行运行同一AI智能体,保留成功的运行,分析失败,并迭代改进流程以提升性能。