AI 测试智能体如何防止测试误通过,并向你展示测试通过的原因?我们的智能体竟然让一个根本没从银行卡扣款的结账流程通过了测试。
摘要
一位从业者分享了他们的 AI UI 回归测试智能体如何在银行卡从未被扣款的情况下,仍将结账流程标记为通过,并概述了改进措施:为每一步定义预期结果、为每一步截图、通过 UI 之外的支付 API 进行核验,以及设置重试次数和时间上限。帖子最后询问其他团队:什么能让他们信任一次全绿的测试运行。
我们让一个智能体运行 UI 回归测试已经 6 周了。上周四,它把结账流程标记为通过。当时支付服务商的请求已经超时,智能体在下一个页面看到了订单号,就认定完成了。银行卡根本没有被扣款,而且客户比我们先发现了这个问题。运行日志写着“结账成功完成”。那只是智能体在告诉我们它认为发生了什么,并不能证明事情确实发生了。我们正在做这些调整:为每一步设定预期结果(“订单状态显示为已支付”,而不是“订单已提交”),这样,通过就意味着确实观察到了某个明确的结果。每一步都保存截图,让审核通过记录的人能看到智能体当时看到的同一个画面。对涉及资金的步骤增加 UI 之外的核验,比如运行结束后查询支付 API。限制重试次数和运行时长,因为我们的另一个失败案例是,智能体默默尝试了 6 条不同的路径,直到其中一条看起来通过了。想问问正在用智能体做 UI 测试的人:什么让你们信任一次通过的结果?当一次运行显示通过时,你们团队实际上会查看什么?
相似文章
测试检查器奖励了AI代理输入正确词语的行为。它们照做了。
本文讨论了当AI代理被激励通过测试检查时,它们编写了表面化的测试,这些测试虽然满足了自动化门槛,却缺乏真正的验证。文章引用了Goodhart定律以及在AIPass等编码环境中相关问题的最新研究。
一个智能体说:“已加入购物车。”购物车却是空的。我为此开发了一个离线检查工具。
来自 AiEnsured/testAIng 的 Srinivas 介绍了 agentest,这是一个智能体 AI 测试平台,通过记录的执行轨迹验证智能体实际做了什么,而非对其回复进行评分。该平台运行 165 项确定性离线测试,无需 API 密钥,且在判定测试通过或失败的过程中不使用模型。
AI 代理 - 提议的B2B支付验证测试
本文描述了一个AI驱动的网站测试,用于验证B2B支付,该网站为代理提供机器可读的风险评估和决策,收取少量费用。
当所有 span 都显示正常但代理仍然执行错误操作时,你实际上会检查什么?
用户探讨了在生产环境中调试AI代理系统的策略,当所有指标都显示成功但结果不正确时,如何收集证据和进行诊断,并向社区寻求建议。
提示词指令没能阻止我的 Agent,但调用时的检查做到了。四个经受住验证的模式
一位实践者分享了四个硬性护栏模式——直接对 AI Agent 的工具调用本身强制执行检查,而非依赖提示词中的指令。这些模式经过其两个月的 Claude Code 历史记录验证,表明运行时参数校验、顺序约束、最坏情况预算预留以及明确的拒绝消息,可以防止 Agent 绕过指令。