AI 自信犯错的程度远超人们想象，不服来辩

我一直在大量使用 AI 做研究和分析工作，最让我困扰的是，即使它错了，听起来也那么自信。不一定是编造虚假事实，更像是拿着单薄或含糊的数据，却以与数据充分时相同的语气给出结论。具体例子：我让它分析一批客户反馈，并对主要投诉进行排名。它给了我一份干净的清单，没有含糊其辞，没有“这不确定”。我回头亲自核对了原始数据，发现其中一条“主要投诉”在大约 200 条评论里只出现了两次。两次。但它呈现出来的自信程度，和那条出现了 60 次的投诉一模一样。没有标记，没有“样本量小”，什么都没有。只是一份整洁的排名列表，从上到下看起来都同样可靠。我认为问题在于，这些模型被优化得听起来连贯，而不是传达不确定性。人类分析师如果某个结论只有 2 个数据点，通常会说“不确定这个是否真实，样本量太小”，因为承认不确定性是人类正常的行为。模型不会这样做，除非你明确强迫它，因为生成一个含糊的表述不会像生成一个干净答案那样得到奖励。让我担心的是，人们很容易察觉不到这一点。输出读起来太专业了，你会停止质疑它。我之所以发现这个虚假模式，是因为我碰巧抽查了原始数据；如果我没这么做，那条 2/200 的投诉就会作为“头号关注点”出现在真正的战略文档里。这是一个已知的局限，人们已经找到了变通方法，还是说我们所有人都必须永远手动核验一切？这从一开始就在某种程度上违背了使用 AI 节省时间的初衷。不服来辩：这真的是个大问题，还是我想多了，这其实只是一个可修复的提示词问题？