我的智能体比它取代的团队更准确，但他们仍然拒绝信任它。

我为支持团队构建了一个分诊智能体，它明显优于它所取代的人工流程。与“正确”标签的一致性比人类自己做出的判断还要高。在纸面上，完成了。实际上，他们在两周内就悄悄停止使用它。不是因为它是错的。而是因为当它出错时，没人能看出原因，一次无法解释的错误就毒化了他们对九十个正确判断的信任。一个94%时间正确的黑匣子，用起来比一个88%时间正确的人还要糟糕，因为你可以问那个人他在想什么。我几乎走上了调优以提高准确性的道路。那会完全错过重点。问题从来不是准确率数字。而是人们不会把判断权交给一个他们无法质疑的东西。所以我让它用一句平实的话解释每个决策。“路由到计费，因为消息提到了退款和发票号码。”同样的模型，同样的准确性，我只是不再隐藏推理过程。采用率几乎立刻反转。当智能体出错时，客服代表能看到糟糕的假设，修正它，然后继续前进，而不是升级一个谜团。可见的推理还为我提供了一条清晰的失败点流，这让改进变得真正容易。我不断重新学到的教训是：对于任何做出人类需要负责的决策的事物，可理解性胜过准确性。人们不需要智能体完美。他们需要看到它为什么这么做，以便在其余百分之九十的时间里信任它。还有其他人发现，暴露推理比榨取最后几个准确率点更重要吗？