大家如何在CI中处理代理回归测试而不抓狂?
摘要
作者讨论了在CI/CD中由于LLM的非确定性,AI代理工具调用自动化回归测试面临的挑战,并寻求社区关于有效设置和痛点的见解。
大家好,在我的上一个项目中,我们每周花费数小时手动抽查代理运行,因为每次模型微小调整或上下文更新似乎都会悄无声息地破坏下游的工具调用。传统的单元测试不适用,因为LLM是非确定性的,但大多数评估框架只对最终文本响应评分,而不是中间工具调用轨迹(它是否选择了正确的工具、传递了有效参数,并在API出错时恢复?)。我正在开发围绕CI/CD中自动化代理回归测试和确定性工具验证的更好工具,并且我很想知道你们目前的设置是什么样的:
- 在部署到生产环境之前,你们如何测试提示/模型更新是否破坏了代理的工具调用?
- 你们在GitHub Actions/GitLab中运行测试,还是QA仍然主要是手动/临时的?
- 你们当前代理评估设置中最令人沮丧的部分是什么?
感谢来自你们生产环境的任何见解或恐怖故事!
相似文章
你们在部署前后是如何测试 AI 智能体的?哪些方法在实际使用中经受住了考验?
一位从业者向社区询问,他们如何在部署前后测试能够调用工具的 AI 智能体,并比较了场景测试、以大语言模型作为评判者、工具调用轨迹检查和回归测试套件,同时对测试覆盖率、评判者的可靠性以及非确定性提出了疑问。
在部署之前,你们是如何测试智能体的?还是大家都在生产环境中凭感觉检查?
关于测试非确定性AI智能体挑战的讨论,质疑开发者如何在没有传统测试模式的情况下验证工具使用、行为和多步骤工作流。
在用户发现故障之前,你如何对智能体工作流进行回归测试?
作者询问开发者如何对AI智能体工作流进行回归测试,指出了常见的故障模式,并分享了他们在Runme中添加评估支持的工作,用于记录任务、对轨迹进行评分以及与基准进行比较。
在发布变更之前,你是如何测试智能体的?
作者介绍了一种智能体回归测试工具,帮助开发人员在代码变更后验证工具调用及工作流执行结果。
当智能体框架一半是非确定性的,你如何实际测试它?
关于测试包含非确定性组件的AI智能体框架所面临的挑战的讨论,探讨了黄金输出差异比较和使用LLM作为评判者等方法,同时质疑这些方法的有效性。