我让一个代理每天早上自主选择任务,持续了23天。共41次运行,19次成功上线,22次失败。正是这22次失败让系统得以生效。

Reddit r/AI_Agents 新闻

摘要

一项为期23天的实验,通过GitHub Actions让AI代理自主选择并执行任务,自动化检查机制导致54%的失败率,反而通过减少人工审核提升了效率。

关于“循环工程是否只是多几个步骤的cron作业”的争论在这里经常出现。我运行了这样一个系统23天,我认为答案基本上是肯定的,而且cron部分恰恰是最不有趣的环节。简单介绍一下其结构:一个GitHub Actions工作流每天早上6点触发。在执行任何操作之前,它会读取搜索数据、使用数据、之前所有尝试过的任务日志及其结果——包括失败原因和成本,以及我手动维护的规则文件。它根据这些信息生成候选任务,进行排序,并确定当天的唯一任务。然后进行规划、设计、实现、撰写文案、测试、验证。最后一步才是关键所在。任何内容未经81项自动化检查,都无法上线。一旦触发任何一项检查,运行就会终止。失败的运行会被记录到同一日志中,供第二天排序时参考——因此昨日的失败成为今日选择的输入依据。这条路径是系统中唯一模拟学习过程的地方。统计8月11日至9月2日的数据:41次运行中,19次成功上线,22次在合并前失败——或因任务停滞,或触发了某个条件,或超出了我设定的成本上限。因此失败率是54%。我认为这个数字正是功能所在。如果我为了追求高成功率而放宽检查,就得重新手动审核每个差异——这正是我试图摆脱的工作。我关心的问题不是代理做对的频率,而是在它做错时会发生什么——22次静默失败并留下日志记录,远比41次需要我审计的合并更好。在已上线的19次任务中,7次是针对循环机制本身的修改,12次是内容页面。所有19次任务的文字完全由代理撰写,我一次文案都没编辑过。关于常规的自主性讨论,有两点我想反驳:第一,自主性不是模型的固有属性,而是你允许它不经检查就合并的程度——这是通过检查设置的参数,而非通过提示词。我完全可以在不接触代理的情况下显著调整系统的自主性程度。第二,这也是我尚未解决的部分:排序步骤是循环中唯一没有失败测试的环节。从“今天选择哪个任务”开始的下游流程都会被验证,但选择本身直接发生——一个糟糕的选择如果通过了所有81项检查,就会像好的选择一样上线。我一直在用任务日志作为弱代理指标,但我知道这是滞后信号。所以真正的问题是:如果你运行一个自主选择工作的系统,你如何评估决策环节?不是执行,而是选择本身。我还没看到好的解决方案,与其自己发明,不如借鉴一个。
查看原文

相似文章