你的设置中有任何东西能跟踪学习到的工作流程是否真的有效吗?

Reddit r/AI_Agents 新闻

摘要

作者质疑现有的代理内存设置是否跟踪学习到的工作流程的成功率,并提出了他们使用计数器和进化日志的方法,寻求该领域的现有技术或惯例。

我研究过的大多数代理内存设置存储的是代理应该做什么。没有一个存储它是否有效。具体来说:我的代理学习了一个部署工作流程,然后在一次错误运行后进行了修订。没有任何记录表明原始版本成功运行了十一次,而新版本从未运行过。它只是遵循最新的内容。所以我开始为每个学习到的工作流程保留一个计数器: version: 3 success_count: 11 fail_count: 1 # 部署到 Railway(v3,92% 可靠) ## 步骤 1. 推送到 main - webhook 会处理其余部分 2. 监视启动日志 3. 验证 /health - 期望在 60 秒内返回 200 ## 进化 - v1 -> v2: 添加了健康检查 - v2 -> v3: 在探测前等待池 一旦我这样做了,两件事发生了变化。代理可以区分一个经历了十一次部署的工作流程和一个某人写下来但从未运行过的。在此之前,两者对它来说看起来是一样的。进化日志回答了“为什么是这样”,这比步骤本身更有用。一个步骤通常存在是因为某件事失败了一次,而这个原因阻止了代理将其简化回去。我无法确定是否有人也这样做。我查看了 markdown 内存项目(EverOS、basic-memory、iwe、understory)和程序内存论文(MACLA、PRAXIS、Memp)。这些论文孤立地评估学习到的技能,而我阅读的工具存储步骤时完全没有结果记录。这让我觉得要么是我在错误的地方寻找,要么是错过了一个明显的理由不去麻烦。所以,有两个问题:你的设置是否跟踪学习到的程序的结果?如果存在现有惯例,我宁愿采用它而不是发明第四个。如果你故意决定不跟踪,为什么?过时的计数器、游戏化、实现结果的成本?披露:我构建一个内存产品,所以我在这里并不中立。我是在寻找现有技术而不是推销,但如果有必要,我很乐意在评论中分享我最终得到的东西。
查看原文

相似文章