回归均值：论LLM与新事物的悄然消亡

# 均值回归 —— 论LLM与新事物的悄然消亡 Source: https://rruxandra.github.io/regression-to-the-mean.html 更多想法的承诺 · 以及向中心的拉力 ## 回归到*均值* 我们被交予一台能与我们一起思考的机器，并被告知它将引爆新思想的爆发。*它可能恰恰相反——轻柔到让我们将平坦误认为进步。* scroll 承诺**· 第01号** 每个桌面一个模型；每个头脑一个协作者。宣传语是一场寒武纪大爆发——所有人同时探索上千个方向。*更多头脑在思考，当然，意味着更多值得思考的想法。* 新事物的爆发 均值**· 第02号** 但问它任何问题，它都会返回*最可能*的延续——所有已写内容的质心。训练于过去，它以思想的过去时作答。不是真实。而是*典型*。 平均值 · 以确定性的速度返回 修正**· 第03号** 给它从未见过的东西，它不会亮起来。它会纠正你。对于一个为预测期望而构建的系统，真正的新事物与错误无异。阻力是轻柔的、持续的： 你是不是指—— *那个熟悉的东西，用来替换你的。* 不是标准术语 *新名字作为拼写错误返回。* 多数来源一致 *共识作为事实交回。* 你确定吗？ *信念被磨平至均值。* 崩塌**· 第04号** 我们将其答案作为下一个问题重新输入。每一次传递，分布范围缩小；奇怪的尾部变薄。*方差从文化中泄露。* 我们收敛——并非正确，而是平均。 输出成为输入 · 曲线锐化为尖峰 代价**· 第05号** 然而，每一项发现，在它被做出的那一刻，都*偏离分布。* 它与当时的共识相悖——移动的大地，看不见的细菌，漂移的大陆，每一个起初都被归档为错误。共识模型，按其构造，是一台告诉你新事物是错误的机器。 发现只曾存在于尾部 偏离**· 第06号** 于是稀缺之物反转。平均值现在免费、无限、相同——恰恰因为每个人都拥有它而价值甚微。无价的是*偏离*：模型标记为错误的位置，却仍被保留。不是它确信的答案——*那个它不停纠正的。* 守护尾部 机器无法交还之物 ## 它将给你所有被思考过的事物的平均值。*新事物从未在其中。* 一个返回最可能句子的工具，既是一种安慰，也是一种悄然的窄化。它无法为你做的工作，才是唯一重要的工作：有目的地站在曲线变薄的地方——并停留足够长的时间以变得正确。 --- 不是最可能的答案。*那个它试图纠正的。* 有意地·偏离分布