你如何测试AI代理在发布后是否经济表现变差？
摘要
本文讨论了检测AI代理在更新后经济退化所面临的挑战，并介绍了ARRM作为比较各版本行为的工具，同时询问生产团队如何处理这一问题。
功能测试可以通过，但AI代理对业务来说仍然变得更差。模型或提示更新可能改变诸如：折扣行为、定价决策、升级模式、转化结果、商业重要决策等。代理仍然“有效”，但经济行为已经退化。我们构建了ARRM来比较各版本的代理行为，并在生产前检测这些退化。我很好奇现在运行代理的生产团队是如何处理这个问题的。你是在使用固定评估、回放数据集、影子运行、自定义指标，还是其他方法？
相似文章
基于他人模型构建代理的隐性代价：悄然发生的回退
本文探讨了基于外部模型构建AI代理的隐性成本，特别是更新后未公开宣布的行为回退可能中断自动化工作流的问题，并提出了版本锁定等应对策略。
大家如何在CI中处理代理回归测试而不抓狂？
作者讨论了在CI/CD中由于LLM的非确定性，AI代理工具调用自动化回归测试面临的挑战，并寻求社区关于有效设置和痛点的见解。
如何处理生产环境中AI代理的工具/模型发生变动？
一个讨论贴，询问开发者如何处理AI代理依赖的工具、API或模型版本在生产环境中发生变化的情况，包括检测、修复和成本。
如何决定哪些AI代理值得在生产环境中保留？
本文探讨了评估生产环境中AI代理的方法，以决定是保留、改进还是关闭它们，并引用了关于成本、可靠性、人工努力和业务成果等指标的研究。
当更好的模型/工具出现时，您如何保持AI代理的技术栈更新？
作者讨论了在模型和工具不断演进的情况下保持AI代理技术栈更新的挑战，并寻求生产团队关于基准测试和更新实践的见解。