有没有人也觉得自己的 AI 功能变贵了？

我们发布了一个 AI 功能，在预发布环境里看起来完全正常，结果真实用户一上手，立刻就把它变成了云账单的火焰喷射器。我们之前的提示词都很短，像什么“总结这个”“起草那个”，最多也就 2k 上下文窗口，如果用户稍微放开手脚的话。然后生产环境用户来了：问出 14 段式的问题，把半个 CRM 粘贴到输入框里，不重置上下文就继续追问，而我们的检索层只是把同样的三个片段重复返回——好像一份过时的策略文档还不够似的。说实话，最蠢的是它一开始看起来那么无辜。上下文越多，准确率看起来越好，于是我们就往 prompt 里塞东西。然后延迟变得糟糕，我们就削减。接着边缘情况的质量下降，我们又加回上下文。后来有人发现，我们每一轮都在发送几乎相同的检索块、巨大的系统提示词，以及完整的对话历史。上周的预算会议简直是一场噩梦。没有什么比解释“用户问一个又长又怪的问题，可能比整个 happy path 演示流程还要烧钱”更令人头大的了。当然，解决办法不只是减少 token。而是要对检索到的文本进行分块、去重，限制历史记录，测试上下文裁剪，还要搞清楚这周到底是让大家抱怨延迟还是准确率。当普通用户开始制造普通用户的混乱时，你们是怎么控制 token 消耗的？