团队如何发现AI客服机器人给客户错误答案？我们的机器人承诺了免费维修

今年早些时候，我们把客服机器人迁移到了自托管模型上，这样客户数据就能留在内部。它通过RAG基于我们的帮助文档回答问题，几个月来一直没问题。就在上周，一位客户发来截图——机器人告诉他意外损坏在保修范围内，我们会免费维修。实际上并非如此，我们也不会提供免费维修。机器人引用的文档是关于延保计划的，而他并没有购买这个计划，机器人把两者混为一谈，我们不得不认账，因为跟一张你自己机器人的截图争辩是必输的——2024年Air Canada就因为聊天机器人提供关于丧亲票价的误导信息，实实在在地输掉了一场仲裁官司。最令人不安的是，我们的日志里没有任何内容看起来明显有错。回答流畅且切题，只是基于了错误的文本块。查阅资料后发现，在客户发现之前捕捉到这类错误似乎分为两项工作：一是把检索到的文本块与每条回答一起记录下来，这样你就能追溯问题出在哪里，Langfuse或Arize Phoenix这类工具对此很有帮助；二是在实时回答发送出去之前进行检查，拦截所有检索证据无法真正支撑的关于保障范围或退款的内容。第二部分我们正在评估Orq AI，它将评估器作为护栏运行，当检查未通过时就拦截响应，并且支持本地部署，数据不会离开我们的环境。另一个选择是NeMo Guardrails，以及自己编写更多的检查逻辑。我仍然不确定，出口处的护栏是否比每天早上有人阅读对话记录能捕捉到更多问题，尤其是当机器人混淆了两份技术上都存在于文档中的政策时。