在用户发现故障之前,你如何对智能体工作流进行回归测试?

Reddit r/AI_Agents 新闻

摘要

作者询问开发者如何对AI智能体工作流进行回归测试,指出了常见的故障模式,并分享了他们在Runme中添加评估支持的工作,用于记录任务、对轨迹进行评分以及与基准进行比较。

好奇这里的人是如何测试AI智能体工作流(Claude [Code]、Codex、Cursor等)的,这些工作流一旦超越了一个提示。我指的是模型周围的层面:仓库指令、技能、MCP/工具设置、记忆、钩子、防护栏,以及智能体应遵循的预期步骤序列。我不断看到的故障模式是:一个完美的转录让工作流看起来“完成”了,然后后续运行失败,因为技能没有激活,使用了错误的工具,跳过了某个来源,或者最终工件看起来正确但原因错误。你们是在测试最终输出,还是也在测试智能体的轨迹?例如: - 预期的技能/规则是否被激活? - 智能体是否调用了正确的工具? - 是否遵循了预期的工作流程? - 能否与已知良好的基准进行比较? 声明:我在Runme(开源)工作,在构建评估支持时一直在思考这个问题。我正在探索的模式基本上是为将工作流部署到AI智能体工具框架中的仓库本地回归测试:记录任务,运行智能体,对工件和轨迹进行评分,与基准进行比较。很想听听其他人是如何处理这个问题的。注意,这不适用于通过SDK或LLM模型循环自带智能体的情况。
查看原文

相似文章