你的 AI 功能演示时惊艳，上线后却翻车，原因是：演示用的例子是你精挑细选的

AI 功能上线时，总有一件事反复出现。演示效果很好，是因为有人精挑细选了 15 个好例子。输入干净，问题明确，都是模型擅长处理的那类内容。大家都觉得很惊艳，于是就上线了。然后真正的用户来了，发来的东西谁都没测过。一份 40 页、带有扫描表格的 PDF。一个其实包含三个问题的问题。有人贴上一整串邮件往来，问“我该怎么办”。错别字、半截句子、另一种语言。模型并没有变差，你只是第一次看到了真实的输入分布。最管用的办法似乎很无聊：在写第一条提示词之前，先收集 50 到 100 条真实输入，尤其是那些乱七八糟的，并为每一条写下什么样的回答才算好。如果还没有用户，就请未来会使用它的人，把最近 20 个原本会拿来问它的问题发给你。之后，每次改动都用这组输入来评分。某次提示词调整修好了一个案例，却搞砸了另外三个，当天就能发现，不必等到收到客服工单。从中还能得到两点收获：你会发现，是哪 10% 的输入造成了 90% 的麻烦，然后可以决定把这些输入转交给人工处理，而不是假装模型能应付；你终于可以在回答“这个版本比上一个版本更好吗？”时，拿出直觉以外的依据。我见过的大多数团队都会跳过这一步，因为感觉就像在好玩的部分开始之前，先得做作业。结果三周后，他们还是得顶着压力补做。如果你上线过 AI 功能，真实用户做出的第一件让你始料未及的事是什么？