决策与执行之间的鸿沟

我一直在思考最近读到的一个关于自动化支持的故事。一个团队用一个LLM分类器替换了简单的规则引擎。模型的准确率约为92%。听起来不错。但直到你意识到每天处理100个工单时，大约会有8个错误，情况就不同了。有趣的部分不是准确率本身，而是当模型出错时发生的事情。没有人能解释某个工单为何被归类为某种方式。没有人能指出具体的规则。没有人能快速修正行为。团队最终开始手动审查每个分类。自动化仍在运行，但信任已经消失了。这让我思考。关于AI代理的很多讨论都集中在如何做出更好的决策上。更好的提示词。更好的模型。更好的推理。但我很少看到人们讨论决策之后发生的事情。决策如何被验证？如何被审计？你怎么知道某个行动实际上应该被执行？也许AI代理最大的挑战不是从92%提高到96%。而是构建当事情出错时人们能够信任的系统。我很好奇其他人是如何思考这个问题的。