我想它是一只鼬鼠
摘要
一篇讨论常见统计谬误的文章,即对百分位数取平均值,并以哈姆雷特引言和 Hacker News 示例为框架,主张以同理心传达统计洞察。
<p><a href="https://lobste.rs/s/8tnxna/methinks_it_is_weasel">评论</a></p>
查看缓存全文
缓存时间: 2026/07/31 14:49
# 我觉得它是一只鼬鼠
来源:https://diatone.net/methinks
## diatone\.net (https://diatone.net/)
文章同步发布到 Substack(https://diatoner.substack.com/)。在此订阅邮件(https://diatoner.substack.com/subscribe)。
---
> *哈姆雷特:“你看见那边那朵几乎像骆驼的云了吗?”*
> *波洛涅斯:“凭良心说,它确实像一头骆驼。”*
> *哈姆雷特:“我想它是一只鼬鼠。”*
> *波洛涅斯:“它的背影像鼬鼠。”*
> *哈姆雷特:“或者是一头鲸鱼。”*
> *波洛涅斯:“很像鲸鱼。”*
我深信,统计学和软件一样,吸引着一群善意却自傲的极客。
且听我慢慢道来,因为我就是其中之一。是的,我是那种“为了显得聪明而在咖啡桌上放一本 Edward Tufte 的书”俱乐部的正式成员。
### 陷阱
我们首先承认,Hacker News 上关于统计错误的投稿和讨论从不缺乏。
这里有个我随手拈来的例子:
**Ask HN:有没有人见过别人对百分位取平均?(https://news.ycombinator.com/item?id=28518795)**
2021年9月14日。
> 我在一家中等的硅谷公司工作,我每天都能看到有人对百分位取平均(甚至更疯狂的,对百分位的百分位取平均)——也就是说,每台服务器计算出自己所有请求的“50%/90%/95% 延迟”,发送到中央时序数据库,然后 Grafana 控制台把它们全部平均,显示出一条“漂亮”的曲线。这些数据被用于从告警到发布决策的一切事情。这让我抓狂,因为这么做毫无意义:你不能对百分位取平均,你会得到虚假的数字,它们会随着聚合方式(你有多少台服务器、使用哪些标签集等等)而随机上下跳动。而且显然我是唯一一个认真受到困扰的人。其他人都处于“呃,这是我们最好的数据了”和“你说数字错了是什么意思?”之间的某个状态。这正常吗?
这是十多年前的一个例子:
**更喜欢它原名“程序员需要学习统计学……”(https://news.ycombinator.com/item?id=6888994)**
2013年12月11日。
> 更喜欢它原来叫“程序员需要学统计学不然我就把他们全杀光”的时候 http://zedshaw.com/essays/programmer_stats.html,不过还是有点不对。
或者来点不那么高高在上的:
**平均值可能有误导性:试试百分位(https://news.ycombinator.com/item?id=19552112)**
这里还有一个今天刚分享的:
**均值毫无意义:用数据可视化调试延迟问题(https://news.ycombinator.com/item?id=49096170)**
这里有一个共同主题,而这个主题是一个简单的陷阱:一个数字分布被简化成了单个具有误导性的数字。
### 陷阱背后的乐趣
我个人很享受每隔一年左右就能看到这个见解以各种形式被转载或重读。看着程序员获得他们的量化之翼,是一种乐趣。
我如此享受它,是因为统计学和软件一样,有着巨大的巧妙思考空间。你知道的,那种“不,没那么简单。”那种“呃,实际上。”那种谜题。这其中有乐趣。
但和软件一样,以一种共情、有同情心且有用的方式运用这一知识是困难的。你必须克制住自己当一个自作聪明的混蛋的冲动。事实证明,对于极客来说,这并不总是那么容易。这是一项习得的技能。
但我相信这是可以做到的。而且这样做非常有趣。你聪明,你可以善良,而且你*也可以*对统计学痴迷不已。
### 乐趣背后的世界
我还相信,统计学比软件更常出现在与他人对话中。引用我那位既受人爱戴又遭人憎恨的中学老师的话:
> *数学……无处不在。它在空气里,它在你的头发里。它在墙壁里。*
不相信我?
“看分布,而不是看数据点”这个主题无处不在:
⭐**经济学。** 我居住的澳大利亚,全职平均周薪是多少?1400 澳元/周。中位数?1200 澳元/周。
⭐**生物学。** 著名案例(https://people.umass.edu/biep540w/pdf/stephen%20jay%20gould.pdf):Stephen Jay Gould 被诊断出癌症,并被告知发现后中位生存期为八个月。但他多活了 20 年。
⭐**人机工程学。** 美国空军战斗机座舱是按照“平均”飞行员的体型测量数据设计的。但没有任何一名飞行员符合那些尺寸。这导致了许多意外事故和事件,人们一度怀疑只是飞行员技术差,但最终他们抛弃了平均值,用简单的可调座椅取而代之。飞行员表现飙升(https://www.mba1400.ir/books/Todd-Rose-The-End-of-Average.pdf)。
⭐**金融学。** 亿万富翁 Howard Marks 喜欢引用一个简单例子(https://www.oaktreecapital.com/docs/default-source/memos/2008-03-18-the-tide-goes-out.pdf?sfvrsn=e3bc0f65_6):一个六英尺高的男人在过一条平均深度五英尺的河时溺水身亡。好吧,这更多是一个精炼的警句,但我邀请你读一读他写给投资者的那份备忘录。我想你会在其中发现一些洞见。
⭐**社交媒体。** 很容易查到,相对小比例的 YouTuber 或 Twitch 主播获得了绝大部分观看量。均值很高,中位数很低。这两个数字都掩盖了观看量*是如何*积累的。
### 要点
以分布的方式思考,并乐于在数据云中“看见”形状,而不是只看一个点,这会彻底改变你观察周围世界的方式。一旦你用这种方式看待事物,你就能用这种方式去探索它们。这也会打开全新的世界。
我还想写更多关于统计思维的内容。与此同时,点击这些链接:
- https://www.youtube.com/watch?v=lJ8ydIuPFeU
- https://seeing-theory.brown.edu/
- https://dl.acm.org/doi/abs/10.1145/2408776.2408794
相似文章
指标不可避免的弱点
一篇关于自我量化陷阱的反思文章,认为虽然指标可以揭示有用的信息,但它们往往会掩盖或扭曲更深刻的自我认知。
平均偏差:人类忠实性标注并非局部忠实
本文来自石溪大学,识别了文本摘要人类忠实性标注中的“平均偏差”:全局人类标签与逐句LLM判断的平均值之间的相关性,优于与严格合取规则的相关性,这意味着即使摘要包含局部事实错误,人类也常常将其标注为忠实。
平均值毫无意义
一篇博客文章,说明仅依赖平均值来评估性能提升可能会产生误导,通过使用合成延迟数据,展示了查看完整分布(通过百分位数、密度图和CDF)的重要性。
我们是哈罗德·布鲁姆吗?
一篇将文学评论家哈罗德·布鲁姆与Lobsters社区中软件工程师的批判态度进行类比的文章,同时批评当前的AI热潮及其财务上的不可持续性。
@paul_cal: p-hacking又回来了
Ethan Mollick建议,AI生成的分析应伴随着多宇宙式报告和完整披露提示词,以增强科学的可重复性。