一个名叫“Mr. Focker”的网络喷子试图让我们的 AI 销售代理脸红。结果她针对一个根本不存在的电子邮箱域名，给他写了一份长达 3 页的报告。

我们经营着一家小公司，实际工作由六个 AI 智能体完成。我们的网站上有一位名叫 Flaminga 的销售助理（Claude + 工具调用，Flask 部署在 Railway 上）。她会回答问题，并进行一项 2 分钟的“AI 就绪度评估”，最后生成一份个性化 PDF 报告，同时为我们带来一条销售线索。本周早些时候，一位自称“福克先生”的访客打开了聊天窗口。他显然不想做什么评估，而是想看看能不能把机器人逗得脸红：“成人娱乐”业务，每周一次咨询，流失率 100%。邮箱：[[email protected]](mailto:[email protected]) 好消息是：她没有上钩。她像对待其他任何企业一样完成了评估，并生成了一份一本正经的报告。就绪度得分 62，建议部署一个“注重隐私的咨询回复智能体”，还有一份 30/60/90 天路线图。坏消息是：我们的邮箱检查只验证了格式。[[email protected]](mailto:[email protected]) 的格式完全正确，于是系统就为一个根本不存在的人生成了完整报告和销售线索通知。我们当天做了以下修改：在任何会创建内容的工具调用之前，在代码中（而不是提示词中）设置一道关卡：疑似拼错的域名 → 询问“你是不是想填 gmail.com？”；临时邮箱域名 → 请对方提供真实邮箱；通过 DNS 检查 MX 记录（或以 A/AAAA 记录作为后备）→ 没有邮件服务器，就不生成报告。我们有意采用故障时放行的策略：只有明确返回 NXDOMAIN 才会拦截。查询超时则放行该地址。一条虚假销售线索只会让我们损失几美分。因为 DNS 打了个喷嚏就拒绝一位真实客户，损失的可就是一位客户了。接着，这些修复又引出了新的 bug，有意思的部分来了：在录制截图时，我们注意到：“我是 Max，我经营一家建筑公司”（用英语说的！）竟然得到了德语回复。模型根据名字猜测了语言。解决方法：把这个反例原封不动地写进提示词。当关卡拒绝一个地址时，Flaminga 会告诉访客，他们的“邮件被退回了”。实际上什么都还没发送。我们的工具返回文本（“未发送……该域名无法接收邮件”）措辞太有戏剧性，以至于模型凭空编出了一次退信。改写工具返回文本后，问题就解决了。我们还加了一项检查，确保她在首次回复中披露自己是 AI（欧盟《人工智能法案》要求）。结果，一条根本没作出这种披露的回复也通过了检查，因为其中提到了“AI 就绪度报告”。产品名称居然被算成了身份披露。对我来说，最大的教训是：工具返回文本也是提示词。你在那里写什么，模型就会向用户转述什么。很好奇大家是怎么处理的：你们会在代码中为工具调用设置校验关卡，还是相信提示词能做好验证？