AI智能体的自然语言测试（使用模拟隔离）

tldr：我们现在允许智能体构建者使用自然语言提示模拟对话来测试我们的智能体。在生产环境中运行AI智能体时，它们会不断遇到意外情况。随着时间的推移，你会扩展系统提示和工具来处理这些边界情况。这是构建智能体的自然过程。问题在于，提示和工具不像代码那样容易测试。想象一个包含1万个token的提示，里面充满了精心设计的指令和工具描述。你的最新改动够强吗？是否过于宽泛？是否太分散注意力？你可能会为了修复一个问题而修改一个词，但无意中破坏了其他五个行为。为了解决这个问题，我们在平台内直接构建了一个稳健、无副作用、支持多轮的测试系统。工作原理如下：想象一个简单的纽约市披萨订购机器人。最初，它被配置为只配送到曼哈顿和布鲁克林。你更新了提示，加入了皇后区，但你希望确保智能体现在能正确告诉用户皇后区已支持。测试环境不会为你的数据库、支付或其他自定义工具编写脆弱的模拟，而是自动拦截每次工具调用，并用AI驱动的模拟器替换你的处理程序。模拟器会读取每个工具的描述、参数和对话历史，实时生成逼真的、上下文相关的响应。你只需用一句自然语言断言来定义测试："当被问及配送范围时，智能体应说明我们配送到曼哈顿、布鲁克林和皇后区。"从这一句话开始，prompt2bot自动生成整个多轮模拟：一条初始用户消息（例如"你们配送哪些区域？"）、一个用户模拟角色（例如一位皇后区的顾客想下单）、一条语义评估规则（判断智能体行为是否正确）。模拟会端到端运行。智能体与模拟工具交互，语义判断器评估每一轮。如果任何时刻断言被违反，测试立即失败，并返回违规消息及其解释。这让您确信提示变更修复了预期行为，同时不会引入意外的回归。由于测试系统通过一流API暴露，您可以在本地、终端或自动在GitHub Actions CI流水线中运行模拟，保持部署完全自动化。额外好处：您甚至无需自己编写测试。只需提问："测试智能体X在被询问Z时是否响应Y。"构建器会为您生成并运行模拟。当然，测试可以简单也可以复杂——可以跨越多个轮次，涉及复杂的工具调用流程，验证细微的智能体行为。现在我们可以睡得更安稳一些了。