AI支持供应商最初承诺40%的自动解决率，8个月后却说8%是正常水平

去年一月我们上线了一个AI支持机器人。将其连接到我们的帮助中心，针对前12种最常见的工单类型进行训练，给了它6周的学习时间。到第三个月，自动解决率只有6%。第八个月达到8%就停滞了。我们的客户经理不断发送基准测试数据，显示7-12%对“复杂的B2B”来说是“典型的”，我们一度信以为真。我们甚至续约了，因为自动解决率看起来跟他发来的那些PDF文件差不多。真正让我醒悟的是五月份在SaaStr遇到的一位创始人。他的团队每月处理约900张工单，主要是计费和入门指导类问题，跟我们属于同一产品类别。他们的自动解决率达到了47%。我原以为他测量方法不对。但并非如此。他带我看了整个设置过程，差异在于架构，而不是训练或提示词。他的工具从第一天起就是以解决为核心构建的。而我们的只是一个在工单系统上包裹了一层LLM，他们管这叫“AI客户服务”。我们开始重新评估，每一场演示最终都会回到同一个问题：AI到底是这个系统的核心，还是只是路由系统上的一个附加层。这是完全不同的产品理念，而在实际应用中，它们之间的自动解决率相差了39个百分点。我们还没有切换，所以没有清晰的对比数据。但如果大多数团队实际只有8%的自动解决率，那么要么我们买了个有缺陷的产品，要么整个类别就是一场巨大的基准测试幻觉。