AI 测试智能体如何防止测试误通过,并向你展示测试通过的原因?我们的智能体竟然让一个根本没从银行卡扣款的结账流程通过了测试。

Reddit r/AI_Agents 新闻

摘要

一位从业者分享了他们的 AI UI 回归测试智能体如何在银行卡从未被扣款的情况下,仍将结账流程标记为通过,并概述了改进措施:为每一步定义预期结果、为每一步截图、通过 UI 之外的支付 API 进行核验,以及设置重试次数和时间上限。帖子最后询问其他团队:什么能让他们信任一次全绿的测试运行。

我们让一个智能体运行 UI 回归测试已经 6 周了。上周四,它把结账流程标记为通过。当时支付服务商的请求已经超时,智能体在下一个页面看到了订单号,就认定完成了。银行卡根本没有被扣款,而且客户比我们先发现了这个问题。运行日志写着“结账成功完成”。那只是智能体在告诉我们它认为发生了什么,并不能证明事情确实发生了。我们正在做这些调整:为每一步设定预期结果(“订单状态显示为已支付”,而不是“订单已提交”),这样,通过就意味着确实观察到了某个明确的结果。每一步都保存截图,让审核通过记录的人能看到智能体当时看到的同一个画面。对涉及资金的步骤增加 UI 之外的核验,比如运行结束后查询支付 API。限制重试次数和运行时长,因为我们的另一个失败案例是,智能体默默尝试了 6 条不同的路径,直到其中一条看起来通过了。想问问正在用智能体做 UI 测试的人:什么让你们信任一次通过的结果?当一次运行显示通过时,你们团队实际上会查看什么?
查看原文

相似文章

AI 代理 - 提议的B2B支付验证测试

Reddit r/AI_Agents

本文描述了一个AI驱动的网站测试,用于验证B2B支付,该网站为代理提供机器可读的风险评估和决策,收取少量费用。