停止让工程师对您的 AI Agent 进行“感觉测试”
摘要
作者介绍了一款开源的无代码工具，旨在让医疗和法律领域的非技术型主题专家能够评估 AI Agent，从而超越以开发者为中心的测试方法。
如果您的 Agent 面向医疗或法律领域，开发者不应成为最终的评判者。大多数评估工具都是为工程师（Python/JSON）设计的。我是一名独立开发者，正在构建一款**开源、无代码的工具**，以便真正的医生和律师能够亲自运行 AI 评估。**您在测试中是如何让非技术领域的主题专家（SME）参与的？** 还是说您仅仅指望“感觉测试”就足够了？
相似文章
没有人对AI编码代理进行足够测试
本文讨论了AI编码代理测试不足的问题，强调了在确保其在软件开发中的可靠性和安全性方面存在关键差距。
2026年AI编程代理输出验证：查看差异、氛围检查再合并
关于当前AI编程代理输出验证实践的一点反思，指出开发者通常只是粗略查看差异就合并，而没有全面审计代理的会话活动，引发了对AI时代代码审查文化的担忧。
在部署之前，你们是如何测试智能体的？还是大家都在生产环境中凭感觉检查？
关于测试非确定性AI智能体挑战的讨论，质疑开发者如何在没有传统测试模式的情况下验证工具使用、行为和多步骤工作流。
如何阻止 Vibe Coding？
本文讨论了使用 AI 代理进行 'vibe coding' 的兴起，其对代码质量和开发者理解的风险，并呼吁重新思考软件工程实践，以超越仅仅从意图生成代码。
在AI智能体面向用户之前，你是如何测试其安全性的？我们受够了没有好的答案，于是自己开发了这个工具。
作者构建了一个用于在AI智能体部署给用户之前测试其安全性的工具，弥补了当前实践中的一个常见空白。