大家如何在CI中处理代理回归测试而不抓狂?

Reddit r/AI_Agents 工具

摘要

作者讨论了在CI/CD中由于LLM的非确定性,AI代理工具调用自动化回归测试面临的挑战,并寻求社区关于有效设置和痛点的见解。

大家好,在我的上一个项目中,我们每周花费数小时手动抽查代理运行,因为每次模型微小调整或上下文更新似乎都会悄无声息地破坏下游的工具调用。传统的单元测试不适用,因为LLM是非确定性的,但大多数评估框架只对最终文本响应评分,而不是中间工具调用轨迹(它是否选择了正确的工具、传递了有效参数,并在API出错时恢复?)。我正在开发围绕CI/CD中自动化代理回归测试和确定性工具验证的更好工具,并且我很想知道你们目前的设置是什么样的: - 在部署到生产环境之前,你们如何测试提示/模型更新是否破坏了代理的工具调用? - 你们在GitHub Actions/GitLab中运行测试,还是QA仍然主要是手动/临时的? - 你们当前代理评估设置中最令人沮丧的部分是什么? 感谢来自你们生产环境的任何见解或恐怖故事!
查看原文

相似文章