大多数AI功能失败的原因不在于模型本身

这事我琢磨了一阵，之前负责的一个AI功能在上线后慢慢就废了，我觉得把锅甩给模型通常都是障眼法。具体例子：我们有个智能体处理入站支持工单的初筛，负责任务分派并草拟回复建议给人类审核。上线后头六周表现很棒。工程团队盯着延迟（稳定在2秒以内）和错误率（低于1%）；产品团队关注工单解决时间，初期确实有改善。与此同时，支持团队开始悄悄注意到，针对某类工单的回复建议变得莫名模板化——没有崩溃，没有报错，只是质量下降。他们在Slack频道提过几次，但没人把这事串联起来，因为这不属于任何人的职责范围：支持关注质量，工程看的是可用性，产品盯的是下游指标，而那个指标因为退化是渐进式的，当时还没变化。等到真正出问题（解决时间指标终于下滑，大概是两个月后），所有人第一反应都是“模型肯定变了”或者“需要更好的提示词”。实际根因调查发现，智能体用来提取上下文的数据源，因为一次无关的管道变更，悄悄返回了过时信息。根本不是模型的问题。这是“三个团队对同一个系统有三个不同的局部视角，且彼此毫无交集”的问题。见过类似情况——团队用LangSmith、Langfuse甚至内部自建的全定制方案。具体工具不是关键变量。每次缺失的东西比工具更简单：一个共享空间，能让追踪记录、质量投诉和下游指标并列展示，并由能同时处理这三方面的人来审视。可能是我样本太小，但好奇是否有人有同感。你负责的AI功能在上线后到底是怎么死的？真的是模型的问题，还是事后被包装成模型问题的“没人掌握全局”的问题？