决策与执行之间的鸿沟

我最近一直在思考一个关于支持自动化的故事。一个团队用一个LLM分类器替换了一个简单的规则引擎。该模型的准确率大约为92%。听起来不错。直到你意识到，每天处理100个工单，那就是大约8个错误。不过，有趣的部分并不是准确率，而是模型出错时发生的事情。没有人能解释为什么某个工单被分类成那样。没有人能指出具体的规则。没有人能快速修复这种行为。团队最终开始手动审查每个分类。自动化仍在运行，但信任已经消失了。这让我思考。很多关于AI智能体的讨论都集中在如何让决策更好——更好的提示词、更好的模型、更好的推理。但我很少看到人们讨论决策之后会发生什么。决策如何被验证？如何被审计？你怎么知道一个行动是否真的应该被执行？也许AI智能体最大的挑战不是从92%提升到96%，而是构建出在事情出错时人们仍能信任的系统。我很好奇其他人是怎么看待这个问题的。